[論文レビュー] Generalizing Shape Analysis with Gradual Types

Migeed, Zeina, Reed, James+2 more|arXiv (Cornell University)|Apr 17, 2019

Parallel Computing and Optimization Techniques参考文献 42被引用数 16

ひとこと要約

Relay は、深層学習コンパイラ向けの高水準で静的に型付けされた関数型中間表現（IR）であり、既存のIRを統合・一般化することで、表現力のあるモデル、合成可能な最適化、ポータブルなハードウェアターゲティングを可能にする。ドメイン特化最適化を標準コンパイラパスとして再定式化し、拡張可能でプラットフォームに依存しないコード生成を可能にすることで、CPU、GPU、アクセラレータのあらゆる環境で競争力のあるパフォーマンスを達成する。

ABSTRACT

Frameworks for writing, compiling, and optimizing deep learning (DL) models have recently enabled progress in areas like computer vision and natural language processing. Extending these frameworks to accommodate the rapidly diversifying landscape of DL models and hardware platforms presents challenging tradeoffs between expressivity, composability, and portability. We present Relay, a new compiler framework for DL. Relay's functional, statically typed intermediate representation (IR) unifies and generalizes existing DL IRs to express state-of-the-art models. The introduction of Relay's expressive IR requires careful design of domain-specific optimizations, addressed via Relay's extension mechanisms. Using these extension mechanisms, Relay supports a unified compiler that can target a variety of hardware platforms. Our evaluation demonstrates Relay's competitive performance for a broad class of models and devices (CPUs, GPUs, and emerging accelerators). Relay's design demonstrates how a unified IR can provide expressivity, composability, and portability without compromising performance.

研究の動機と目的

• 統合的かつ拡張可能なコンパイラフレームワークとして、多様なディープラーニングモデルとハードウェアプラットフォームをサポートするという増大する課題に対処すること。
• 新しいモデル、最適化、ハードウェアに拡張する際、表現力、合成性、ポータビリティを犠牲にする既存のDL IRの制限を克服すること。
• ドメイン特化最適化（例：量子化、結合）とハードウェア固有のコード生成を、パフォーマンスを損なわずにシームレスに統合できること。
• モデル表現、最適化、コード生成を統合することで、将来のディープラーニングコンパイラ研究の原理的で拡張可能な基盤を提供すること。

提案手法

• 一等関数、制御フロー、木構造やグラフのような複雑なデータ構造をサポートする関数型で静的に型付けされたIRとしてRelayを設計すること。
• 既存のコンパイラ技術を用いて、量子化、形状推論、演算子結合といった一般的なDL最適化を標準コンパイラパスとして再定式化すること。
• 新しい演算子や最適化を定義する拡張可能メカニズムを導入し、コンパイラスタックのモジュラーかつ合成可能な拡張を可能にすること。
• 同じIRがCPU、GPU、カスタムアクセラレータを含む多様なバックエンドをターゲットにできる、プラットフォームに依存しない演算子表現を実装すること。
• 複雑な制御フロー（例：RNN、TreeLSTM）を有するモデル全体を、ホスト言語スクリプトに依存せずに、洗練された最適化済みバイナリにコンパイルするための統一IRを活用すること。
• 数十年にわたる伝統的コンパイラ研究の知見を活用し、実装の組み合わせ爆発を回避しながらも、正しくかつ効率的な最適化の合成を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 関数型で静的に型付けされたIRは、複雑な制御フローとデータ構造を持つ最先端のモデルを表現できるように、既存のディープラーニングIRを統合・一般化できるか？
• RQ2 量子化や演算子結合といったドメイン特化最適化が、標準コンパイラパスとして再定式化された場合、効果的に合成できるか？
• RQ3 1つの拡張可能で、表現力や合成性を損なわず、CPU、GPU、FPGA、アクセラレータを含む多様なハードウェアプラットフォームで高いパフォーマンスを発揮できるか？
• RQ4 Relayは、複雑な制御フローと異種ハードウェアターゲットを持つモデルの最適化とデプロイで、既存のフレームワークをどの程度上回れるか？

主な発見

• VisionおよびNLPワークロードにおいて、Relayは競争力のあるパフォーマンスを発揮し、SOTAフレームワークと同等またはそれを上回る：GRUではMxNet比2.3倍の高速化、TreeLSTMでは2倍の高速化。
• CharRNNではPyTorch比1.4倍、TreeLSTMでは2倍の高速化を達成しており、これは複雑な制御フローを1つの最適化済みバイナリにコンパイルできる能力のおかげ。
• ARMプラットフォーム（Raspberry Pi 3およびFirefly RK3399）における量子化推論では、精度損失が最小限（例：ResNet-18では69.4% vs. 70.7%）であり、極端な量子化（8/16ビット）でも顕著なパフォーマンス向上を示した。
• FPGAベースのDNNアクセラレータでは、Relayにより異なるハードウェア設計の効果的な評価が可能となり、メモリ制限のNLPワークロード（例：TreeLSTM）ではバッチ処理がスループットを向上させるが、計算制限のResNetsでは向上しないことが示された。
• CPUおよびGPUにおける演算子結合とレイアウト変換により顕著な高速化が達成された：要素演算の結合のおかげでMobileNetおよびResNetで最大2.3倍の高速化。
• TPU、Inferentia、カスタムFPGAを含む複数のハードウェアバックエンドを効果的にターゲットにでき、最適化の力を損なわず、強力なポータビリティを示した。