[論文レビュー] Modeling of languages for tensor manipulation

Norman A. Rink|arXiv (Cornell University)|Jan 26, 2018

Parallel Computing and Optimization Techniques参考文献 21被引用数 5

ひとこと要約

この論文は、要素演算、転置、テンソル畳み込みといったコアな演算を捉える形式的仕様を持つテンソル操作用のモデル言語を提示する。本研究では進行性および安全性の性質を確立し、パフォーマンス最適化のためのパディング済みメモリバリアントと参照実装との間で等価性を証明し、機械学習およびHPCシステムにおけるテンソルコードの形式的検証と最適化を可能にする。

ABSTRACT

Numerical applications and, more recently, machine learning applications rely on high-dimensional data that is typically organized into multi-dimensional tensors. Many existing frameworks, libraries, and domain-specific languages support the development of efficient code for manipulating tensors and tensor expressions. However, such frameworks and languages that are used in practice often lack formal specifications. The present report formally defines a model language for expressing tensor operations. The model language is simple and yet general enough so that it captures the fundamental tensor operations common to most existing languages and frameworks. It is shown that the given formal semantics are sensible, in the sense that well-typed programs in the model language execute correctly, without error. Moreover, an alternative implementation of the model language is formally defined. The alternative implementation introduces padding into the storage of tensors, which may benefit performance on modern hardware platforms. Based on their formal definitions, the original implementation of the model language and the implementation with padding are proven equivalent. Finally, some possible extensions of the presented model language for tensor manipulation are discussed.

研究の動機と目的

• 既存のドメイン特化言語（DSL）およびライブラリにおける形式的意味論の欠如に対処すること。
• 数値計算および機械学習で用いられる基本的なテンソル演算を捉える、最小限かつ表現力のあるモデル言語を定義すること。
• モデル言語における型付きプログラムが、境界外メモリアクセスを起こさず、完全に評価可能であることを形式的に証明すること。
• 現代のハードウェア上で性能を向上させるために、メモリパディングを用いた最適化された実装を導入し、形式的に検証すること。
• 数学的に厳密な基盤を提供することで、テンソルコードの形式的推論、プログラム解析、最適化を可能にすること。

提案手法

• モデル言語は、変数代入、式評価、テンソルストレージの更新を含む、小ステップ評価システムを用いた形式的操作的意味論で定義される。
• 言語は、要素演算、転置、テンソル畳み込みといった主要なテンソル演算をサポートし、次元の整合性について明示的な型チェックが行われる。
• 参照実装はストアベースの意味論で定義され、評価中に型チェックおよび境界チェックにより安全性が保証される。
• 代替実装では、SIMDベクタ幅に合わせてテンソル次元をパディングすることで、現代のプロセッサ上でより良いメモリアクセスパターンが得られる。
• 同値性は双模倣（bisimulation）技法を用いて形式的に証明され、パディングがプログラムの振る舞いに影響を与えないことが示された。
• モデル言語には明示的な制御フローが存在しないため、デッドコード削除や共通部分式削減といったシンプルなプログラム解析が可能である。

実験結果

リサーチクエスチョン

• RQ1 最小限で形式的に定義されたモデル言語は、既存のDSLやライブラリで用いられる基本的なテンソル演算を捉えることができるか？
• RQ2 型付きプログラムが境界外メモリアクセスを起こさないことを形式的に証明できるか？
• RQ3 テンソルストレージにおけるメモリパディングは、意味的等価性を保ちつつパフォーマンスの向上を可能にするか？
• RQ4 このモデル言語において、テンソル式に対して形式的プログラム解析および最適化を効果的に適用できるか？
• RQ5 テンソル演算における並列性は、形式的にどのように扱い、言語実装において安全に活用できるか？

主な発見

• モデル言語は形式的に安全であることが証明されており、型付きプログラムは評価中に境界外メモリアクセスを起こせない。
• モデル言語は進行性が保証されており、すべての型付きプログラムがスタックせず完全に評価可能である。
• パディングを施した代替実装は、参照実装と形式的に等価であることが証明されており、パディングがプログラムの振る舞いに影響しないことが検証された。
• テンソルストレージにおけるパディングの使用は、メモリアクセスパターンを改善し、SIMD対応の現代のハードウェアプラットフォームでパフォーマンス向上の可能性を秘めている。
• モデル言語に明示的な制御フローがないため、プログラム解析が簡素化され、効果的なデッドコード削除および共通部分式削減が可能である。
• 形式的意味論は、最適化の検証やテンソル演算の安全な並列実行を可能にする堅固な基盤を提供する。