[論文レビュー] JANUS: Fast and Flexible Deep Learning via Symbolic Graph Execution of Imperative Programs

Eunji Jeong, Sung‐Woo Cho+4 more|arXiv (Cornell University)|Dec 4, 2018

Parallel Computing and Optimization Techniques被引用数 9

ひとこと要約

JANUS は、命令型 Python プログラムを記号的データフローグラフにコンパイルするディープラーニングシステムであり、パフォーマンスの高い実行を実現しながら、命令型プログラミングの柔軟性を維持する。動的特徴（制御フロー、型など）を静的解析することで、JANUS は TensorFlow などの記号的フレームワークと同等の学習速度を達成しながら、動的で使いやすいコードをサポートする。

ABSTRACT

The rapid evolution of deep neural networks is demanding deep learning (DL) frameworks not only to satisfy the requirement of quickly executing large computations, but also to support straightforward programming models for quickly implementing and experimenting with complex network structures. However, existing frameworks fail to excel in both departments simultaneously, leading to diverged efforts for optimizing performance and improving usability. This paper presents JANUS, a system that combines the advantages from both sides by transparently converting an imperative DL program written in Python, the de-facto scripting language for DL, into an efficiently executable symbolic dataflow graph. JANUS can convert various dynamic features of Python, including dynamic control flow, dynamic types, and impure functions, into elements of a symbolic dataflow graph. Experiments demonstrate that JANUS can achieve fast DL training by exploiting the techniques imposed by symbolic graph-based DL frameworks, while maintaining the simple and flexible programmability of imperative DL frameworks at the same time.

研究の動機と目的

• ディープラーニングフレームワークにおけるパフォーマンスと使いやすさの長年の妥協を解消すること。
• 柔軟性を失わず、動的で命令型のディープラーニングプログラムを効率的に実行すること。
• 動的制御フロー、動的型、副作用関数などの複雑な動的特徴を記号的実行フレームワークで効果的にサポートすること。
• PyTorch などの命令型フレームワークと TensorFlow などの記号的フレームワークの長所を統合することで、その溝を埋めること。
• 研究者が自然な Python コードを書ける透明なコンパイルパイプラインを提供し、高速な学習を実現すること。

提案手法

• ディープラーニング用に書かれた命令型 Python コードを解析し、記号的計算グラフを抽出する。
• if-else やループなどの動的制御フロー構文を、グラフ内の条件演算または反復的演算として記号的に実行する。
• プログラムの静的解析中に型情報を推論・伝搬することで、動的型付けを処理する。
• 副作用を伴う関数（例：副作用を伴う操作）を、制御された副作用を持つグラフノードとして表現し、正しさを保つ。
• 従来の記号的フレームワークで用いられる技術（例：カーネル統合、メモリ再利用）を用いて、得られた記号的グラフを最適化する。
• 最適化されたグラフを高性能バックエンドと統合し、GPU 上での効率的な実行を実現する。

実験結果

リサーチクエスチョン

• RQ1 動的制御フローを備えた命令型ディープラーニングプログラムを、表現力に欠けず、記号的データフローグラフに効率的にコンパイルできるか？
• RQ2 記号的実行フレームワークにおいて、動的型付けや副作用関数をどれほど効果的にサポートできるか、パフォーマンスの低下なしに？
• RQ3 命令型コードの記号的コンパイルが、ネイティブの記号的フレームワークと同等の学習速度を達成できるか、かつ命令型プログラミングの使いやすさを維持できるか？
• RQ4 動的構造（例：動的計算グラフ）を持つ複雑な実世界のディープラーニングモデルを、効率的に処理できるか？
• RQ5 標準ベンチマークにおいて、JANUS のパフォーマンスが PyTorch などの命令型フレームワークと TensorFlow などの記号的フレームワークと比較してどうなるか？

主な発見

• JANUS は TensorFlow などの記号的フレームワークと同等の学習速度を達成しており、動的特徴によってパフォーマンスが低下しないことを示している。
• 本システムは、動的制御フローと動的型を備えたモデルを効果的にコンパイルでき、複雑なユーザー定義ニューラルネットワークアーキテクチャの完全なサポートを実現した。
• 実験により、RNN や動的グラフネットワークを含む多様なディープラーニングワークロードにおいて、JANUS が高いパフォーマンスを維持していることが示された。
• 記号的グラフコンパイルプロセスに最小限のオーバーヘッドが生じ、ネイティブの記号的フレームワークと同等の実行時間となった。
• JANUS は研究者が自然で読みやすい Python コードを書ける一方で、低遅延・高スループットの学習を実現でき、使いやすさとパフォーマンスの統合に成功した。
• 本システムは、イテレーションごとに異なる条件分岐やループを含む実世界のモデルに対しても、堅牢に動作することが示された。