[논문 리뷰] Modeling of languages for tensor manipulation

Norman A. Rink|arXiv (Cornell University)|2018. 01. 26.

Parallel Computing and Optimization Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 요소 간 산술, 전치, 텐서 수축과 같은 핵심 연산을 포괄하는 텐서 조작을 위한 형식적으로 명세화된 모델 언어를 제안한다. 이는 진행성 및 안전성 성질을 확립하고, 성능 최적화를 위한 팯딩된 메모리 버전과 참조 구현 간의 동치성 증명을 수행하며, 기계 학습 및 HPC 시스템에서 텐서 코드의 형식적 검증 및 최적화를 가능하게 한다.

ABSTRACT

Numerical applications and, more recently, machine learning applications rely on high-dimensional data that is typically organized into multi-dimensional tensors. Many existing frameworks, libraries, and domain-specific languages support the development of efficient code for manipulating tensors and tensor expressions. However, such frameworks and languages that are used in practice often lack formal specifications. The present report formally defines a model language for expressing tensor operations. The model language is simple and yet general enough so that it captures the fundamental tensor operations common to most existing languages and frameworks. It is shown that the given formal semantics are sensible, in the sense that well-typed programs in the model language execute correctly, without error. Moreover, an alternative implementation of the model language is formally defined. The alternative implementation introduces padding into the storage of tensors, which may benefit performance on modern hardware platforms. Based on their formal definitions, the original implementation of the model language and the implementation with padding are proven equivalent. Finally, some possible extensions of the presented model language for tensor manipulation are discussed.

연구 동기 및 목표

• 기존 도메인 특화 언어(DSL) 및 라이브러리에서 텐서 조작에 대한 형식적 의미 이론의 부재를 해결하기 위해.
• 수치 계산 및 머신러닝에서 사용되는 기본적인 텐서 연산을 포괄하는 최소이면서도 표현력 있는 모델 언어를 정의하기 위해.
• 모델 언어에서 잘형식화된 프로그램이 외부 메모리 접근 없이 안전하게 실행되며(메모리 접근 범위 초과 방지), 완전히 평가될 수 있도록(멈추지 않음) 형식적으로 증명하기 위해.
• 현대 하드웨어에서 성능을 향상시키기 위해 메모리 패딩을 사용한 최적화된 구현 방식을 도입하고 형식적으로 검증하기 위해.
• 수학적으로 엄밀한 기반을 제공함으로써 형식적 추론, 프로그램 분석 및 텐서 코드 최적화를 가능하게 하기 위해.

제안 방법

• 모델 언어는 변수 할당, 표현식 평가, 텐서 저장소 업데이트를 포함하는 소단계 평가 시스템을 사용한 형식적 운영 의미론으로 정의된다.
• 언어는 요소 간 산술, 전치, 텐서 수축과 같은 주요 텐서 연산을 지원하며, 차원 호환성에 대한 명시적 타입 체킹을 포함한다.
• 참조 구현은 스토어 기반 의미론을 사용하여 정의되며, 평가 중 타입 체킹과 경계 체킹을 통해 안전성을 확보한다.
• 대체 구현은 텐서 차원을 SIMD 벡터 폭에 맞추기 위해 패딩을 도입하여 현대 프로세서에서 메모리 접근 패턴을 향상시킨다.
• 등가성은 이중성 기법을 사용하여 참조 구현과 패딩 구현 간의 형식적 증명을 통해 입증되며, 패딩이 프로그램 동작을 변경하지 않음을 보여준다.
• 모델 언어는 명시적 제어 흐름을 포함하지 않아, 사라지는 코드 제거 및 공통 부분 표현식 제거와 같은 간단한 프로그램 분석이 가능하다.

실험 결과

연구 질문

• RQ1 기존 DSL 및 라이브러리에서 사용되는 핵심 텐서 연산을 포괄하는 최소이면서도 형식적으로 명세화된 모델 언어를 설계할 수 있는가?
• RQ2 모델 언어에서 잘형식화된 프로그램이 외부 메모리 접근으로부터 안전한가를 형식적으로 증명할 수 있는가?
• RQ3 텐서 저장소에서 메모리 패딩을 사용함으로써 의미론적 동치성이 유지되면서도 성능 향상 잠재력이 있는가?
• RQ4 이 모델 언어에서 텐서 표현식에 대해 형식적 프로그램 분석 및 최적화를 효과적으로 적용할 수 있는가?
• RQ5 텐서 연산의 병렬성은 이 언어의 구현에서 어떻게 형식적으로 분석하고 안전하게 활용할 수 있는가?

주요 결과

• 모델 언어는 형식적으로 안전함을 증명하였으며, 잘형식화된 프로그램은 평가 중에 외부 메모리 접근을 수행할 수 없다.
• 모델 언어는 진행성(progression)을 증명하였으며, 모든 잘형식화된 프로그램은 멈추지 않고 완전히 평가될 수 있다.
• 패딩을 적용한 대체 구현은 참조 구현과 형식적으로 동치임을 증명하였으며, 패딩이 프로그램 동작을 변경하지 않음을 검증하였다.
• 텐서 저장소에서 패딩을 사용하면 메모리 접근 패턴이 향상되고, SIMD 지원이 되는 현대 하드웨어 플랫폼에서 성능 향상 잠재력이 있다.
• 모델 언어에서 명시적 제어 흐름이 없기 때문에 프로그램 분석이 단순해져, 효과적인 사라지는 코드 제거 및 공통 부분 표현식 제거가 가능하다.
• 형식적 의미론은 최적화 검증 및 텐서 연산의 안전한 병렬 실행을 가능하게 하는 견고한 기반을 제공한다.