[論文レビュー] DLVM: A modern compiler infrastructure for deep learning

Richard Wei, Vikram Adve+1 more|arXiv (Cornell University)|Nov 8, 2017

Parallel Computing and Optimization Techniques被引用数 2

ひとこと要約

DLVMは、線形代数の中間表現、自動微分のための随伴コード生成、分野特化型最適化、LLVMベースのGPUコード生成を用いる、現代的でモジュラーなディープラーニングコンパイラーインfraストラクチャである。Swiftで埋め込みられた段階的DSLとして構築されており、安全で高パフォーマンスかつ合成可能なディープラーニングフレームワークを実現し、強力な型安全性と表現力を備えている。

ABSTRACT

Deep learning software demands reliability and performance. However, many of the existing deep learning frameworks are software libraries that act as an unsafe DSL in Python and a computation graph interpreter. We present DLVM, a design and implementation of a compiler infrastructure with a linear algebra intermediate representation, algorithmic differentiation by adjoint code generation, domain-specific optimizations and a code generator targeting GPU via LLVM. Designed as a modern compiler infrastructure inspired by LLVM, DLVM is more modular and more generic than existing deep learning compiler frameworks, and supports tensor DSLs with high expressivity. With our prototypical staged DSL embedded in Swift, we argue that the DLVM system enables a form of modular, safe and performant frameworks for deep learning.

研究の動機と目的

• 既存のディープラーニングフレームワークの限界、すなわち安全性の欠如、モノリシックな構造、実行時解釈を伴うPython DSLとしての構築を解決すること。
• LLVMをインspiredとしたモジュラーで拡張可能なコンパイラーインfraストラクチャを設計し、強力な型安全性を備えた高レベルのテンソルDSLをサポートすること。
• LLVMの最適化およびコード生成パイプラインを活用して、GPU向けに効率的で正確かつポータブルなコード生成を実現すること。
• 随伴コード生成によるアルゴリズム微分を支援し、勾配計算における正しさとパフォーマンスを保証すること。
• 段階的DSLとしてSwiftに実装されたコンパイラーが、ディープラーニングシステムにおいて高い表現力とパフォーマンスを両立できることを示すこと。

提案手法

• テンソル演算をネイティブに表現でき、高レベルの最適化を可能にする線形代数の中間表現（IR）の設計。
• 前向き計算から系統的に勾配コードを導出する、随伴コード生成によるアルゴリズム微分の実装。
• 統合、レイアウト変換、タイリングなどの分野特化型最適化を統合し、パフォーマンスを向上。
• LLVMのインfraストラクチャを活用したコード生成により、ポータブルかつ効率的なGPUカーネルコンパイルを実現。
• ディープラーニングモデルを完全な型安全性とモジュラリティを備えて表現できる、Swiftに埋め込まれた段階的DSLの構築。
• 各フェーズ（フロントエンド、IR、最適化、コード生成）が合成可能で再利用可能なモジュラーなコンパイラーパイプラインの設計。

実験結果

リサーチクエスチョン

• RQ1 線形代数IRに基づくコンパイラーインフラストラクチャは、ディープラーニングワークロードにおいて、高パフォーマンスと高表現力の両方を達成できるか？
• RQ2 随伴コード生成は、他の自動微分技術（ソースツーソースやオペレータオーバーロード）と比較して、正しさとパフォーマンスの面でどのように異なるか？
• RQ3 モジュラーなコンパイラースタックにおける分野特化型最適化は、推論および学習効率をどの程度向上できるか？
• RQ4 システム言語であるSwiftにおける段階的DSLは、低レベルコードの安全性とパフォーマンスを維持しながら、高レベルDSLの生産性を保てるか？
• RQ5 実際の利用状況において、DLVMのモularityと汎用性は、モノリシックなディープラーニングフレームワークと比べてどの程度優れているか？

主な発見

• DLVMの線形代数IRは、強力な型安全性を備え、高レベルで合成可能かつ最適化可能なディープラーニングモデルの表現を可能にする。
• 随伴コード生成により、一般的なソースツーソースやオペレータオーバーロードADの落とし穴を回避し、正しくかつ効率的な勾配計算が保証される。
• 計算統合やレイアウトに配慮した変換などの分野特化型最適化は、GPU上のカーネルパフォーマンスを顕著に向上させる。
• Swiftにおける段階的DSLは、表現力を損なわず、高レベルで安全かつパフォーマンスの高いディープラーニングフレームワークの実現が可能であることを示している。
• LLVMの最適化およびコード生成パイプラインを再利用することで、競争力のあるパフォーマンスを実現しつつ、ポータブルかつ効率的なGPUコード生成を達成している。