[論文レビュー] Relay: A High-Level IR for Deep Learning.

Jared Roesch, Steven Lyubomirsky+7 more|arXiv (Cornell University)|Apr 17, 2019

Parallel Computing and Optimization Techniques参考文献 8被引用数 8

ひとこと要約

Relay は、深層学習向けの高水準で、関数型的かつ静的型付けされた中間表現（IR）であり、既存の DL IR を統合・一般化することで、表現力・合成性・移植性に優れたモデルコンパイルを可能にする。最新のモデルをサポートし、自動微分と型安全性を備えた最適化可能で拡張可能なコンパイルにより、CPU、GPU、FPGA においても競争力ある性能を発揮する。

ABSTRACT

Frameworks for writing, compiling, and optimizing deep learning (DL) models have recently enabled progress in areas like computer vision and natural language processing. Extending these frameworks to accommodate the rapidly diversifying landscape of DL models and hardware platforms presents challenging tradeoffs between expressiveness, composability, and portability. We present Relay, a new intermediate representation (IR) and compiler framework for DL models. The functional, statically-typed Relay IR unifies and generalizes existing DL IRs and can express state-of-the-art models. Relay's expressive IR required careful design of the type system, automatic differentiation, and optimizations. Relay's extensible compiler can eliminate abstraction overhead and target new hardware platforms. The design insights from Relay can be applied to existing frameworks to develop IRs that support extension without compromising on expressivity, composibility, and portability. Our evaluation demonstrates that the Relay prototype can already provide competitive performance for a broad class of models running on CPUs, GPUs, and FPGAs.

研究の動機と目的

• 深層学習モデルとハードウェアプラットフォームの複雑化・多様化に対応するため、統一的かつ拡張可能な中間表現（IR）を設計すること。
• 表現力・合成性・移植性を両立させつつ、パフォーマンスや保守性を損なわないバランスを図ること。
• 原理的な IR 設計を通じて、CPU、GPU、FPGA のあらゆるプラットフォームで最新のモデルを効率的にコンパイル可能にする。

提案手法

• 既存の DL IR を一般化し、複雑なモデル構造をサポートする関数型的で静的型付けされた IR を設計すること。
• IR に自動微分を統合し、バックプロパゲーションとモデル学習をネイティブにサポートすること。
• 正しさを保証し、異種のモデルコンponent間での安全な最適化を可能にする型システムの開発。
• 抽象化のオーバーヘッドを排除し、新しいハードウェアプラットフォームに効率的に対応できる拡張可能なコンパイラパイプラインの構築。
• 型付き関数型IR内で共通部分式削減や定数畳み込みなどの最適化技術を適用すること。
• プラットフォーム固有のコード生成を通じて、CPU、GPU、FPGA 間でシームレスなモデルコンパイルとデプロイを実現すること。

実験結果

リサーチクエスチョン

• RQ1 表現力と移植性を保ちつつ、既存の表現を統合・一般化できる深層学習IRは、どのように設計できるか？
• RQ2 高水準なモデル合成と効率的な低水準コード生成を両立させるために、どのような型システムと言語機能が必要か？
• RQ3 関数型的で静的型付けされたIRは、CPU、GPU、FPGA といった多様なハードウェアプラットフォームで競争力あるパフォーマンスを達成できるか？
• RQ4 最適化の機会を損なわず、自動微分を高水準IRにネイティブに統合するにはどうすればよいか？
• RQ5 コンパイル時にIRにおける抽象化をどの程度排除できるか？その結果、手動最適化されたコードと同等のパフォーマンスを達成できるか？

主な発見

• Relay IR は、従来のIRでは表現が難しい複雑なアーキテクチャを含む、最新の深層学習モデルを効果的に表現できることが確認された。
• Relay の関数型的かつ静的型付けされた性質により、強い正しさ保証と安全で合成可能な最適化が可能となった。
• プロトタイプコンパイラは、CPU、GPU、FPGA においても競争力あるパフォーマンスを達成し、多様なハードウェアプラットフォームへの移植性を実証した。
• 抽象化のオーバーヘッドを最小限に抑え、手動最適化実装とほぼ同等のパフォーマンスを実現する効率的なコンパイルが可能となった。
• 拡張可能なコンパイラアーキテクチャにより、新しいハードウェアバックエンドや最適化パスの統合が容易になった。