[論文レビュー] AutoGraph: Imperative-style Coding with Graph-based Performance

Moldovan, Dan, Decker, James M+7 more|arXiv (Cornell University)|Oct 16, 2018

DNA and Biological Computing参考文献 14被引用数 10

ひとこと要約

AutoGraph は、ソースコード変換と段階的プログラミングを用いて、イディオム的な Python を最適化され、デプロイ可能な IR（例：TensorFlow Graph や Lantern）に変換することで、インパーソナルスタイルの Python コーディングを可能にし、グラフベースのパフォーマンスを実現します。実行時オーバーヘッドなしにネイティブ TensorFlow のパフォーマンスを達成しながら、複雑な制御フローとバックエンドに依存しないコンパイルをサポートします。

ABSTRACT

There is a perceived trade-off between machine learning code that is easy to write, and machine learning code that is scalable or fast to execute. In machine learning, imperative style libraries like Autograd and PyTorch are easy to write, but suffer from high interpretive overhead and are not easily deployable in production or mobile settings. Graph-based libraries like TensorFlow and Theano benefit from whole-program optimization and can be deployed broadly, but make expressing complex models more cumbersome. We describe how the use of staged programming in Python, via source code transformation, offers a midpoint between these two library design patterns, capturing the benefits of both. A key insight is to delay all type-dependent decisions until runtime, via dynamic dispatch. We instantiate these principles in AutoGraph, a software system that improves the programming experience of the TensorFlow library, and demonstrate usability improvements with no loss in performance compared to native TensorFlow graphs. We also show that our system is backend agnostic, and demonstrate targeting an alternate IR with characteristics not found in TensorFlow graphs.

研究の動機と目的

• インパーソナル ML フレームワーク（コーディングが簡単）とグラフベースのシステム（高いパフォーマンス、ポータブル）の間のギャップを埋める。
• 開発者がループや条件分岐などの制御構文を含むイディオム的な Python を記述できるようにし、最適化された静的型付き IR にコンパイルすることを可能にする。
• 既存のインパーソナルおよびグラフベースの ML フレームワークに内在するパフォーマンスとポータビリティのトレードオフを解消する。
• TensorFlow Graph やより表現力の高い Lantern IR といった複数の中間表現（IR）をターゲットにすることで、バックエンドに依存しないコンパイルを実現する。
• 自動型ディスpatchと最小限のアノテーションにより、開発者の負担を最小限に抑えつつ、コード変換中の意味的整合性を維持する。

提案手法

• Python におけるソースコード変換（SCT）を用いて、インパーソナルコードを低レベルの中間表現（IR）に解析・再書き込みする。
• 実行時型情報に基づく動的ディスpatchを用いた段階的プログラミングにより、型依存の意思決定を実行時まで延期する。
• 静的解析を適用して制御フロー構造（例：ループ、条件分岐）を検出し、それらをターゲット IR における同等のグラフベースの演算に再書き換える。
• TensorFlow Graph やより表現力の高い Lantern IR といった異なる IR にコードを生成することで、バックエンドに依存しないコンパイルを実現する。
• Python のインスペクションとリフレクション（例：inspect, imp）を活用して関数構造を解析し、実行時またはコンパイル時に変換を実行する。
• 型と制御フローを推論することで、必要なアノテーションを最小限に抑え、ターゲット IR の型システムが要請する場合にのみ明示的なヒントを必要とする。

実験結果

リサーチクエスチョン

• RQ1 データ依存の制御フローを持つインパーソナルスタイルの Python コードが、パフォーマンス損失なしに最適化され静的型付き IR に自動的に変換可能か。
• RQ2 ソースコード変換と段階的プログラミングを用いることで、ML フレームワークにおける高パフォーマンス実行を維持しつつ、意味的整合性を保てる範囲はどの程度か。
• RQ3 1 つのシステムが、TensorFlow Graph よりも豊富な機能（例：再帰的関数呼び出し）を備えた IR に対しても対応可能か。
• RQ4 型不一致や動的ディスパッチは、静かにパフォーマンス低下を引き起こさないよう、どのように処理されるか。
• RQ5 豊富な手動アノテーションを必要とせずに、変換パイプラインを堅牢かつ正しく保てるか。

主な発見

• AutoGraph は、複雑な制御フローを含むイディオム的な Python コードを、手書きのグラフと比較してパフォーマンスに劣らない最適化された TensorFlow Graph IR に成功して変換した。
• システムはネイティブ TensorFlow のパフォーマンスを達成しており、AutoGraph を介したコンパイルによってインパーソナルコーディングスタイルに実行時オーバーヘッドが生じないことを示した。
• AutoGraph は TensorFlow を超えて、再帰的関数呼び出しが表現できない TensorFlow Graph よりも表現力の高い Lantern IR をターゲットとしており、高度な機能をサポートしている。
• 変換プロセスはほとんど自動的であり、ほとんどの場合アノテーションが不要で、ターゲット IR の型システムが要請する場合にのみ最小限のヒントが必要となる。
• AutoGraph は生産環境対応であり、TensorFlow 2.0 の tf.function を通じて統合されており、TensorFlow コードベースの完全なテストスイートの恩恵を受けている。
• 堅牢であるものの、ユーザーが Python のブール値を条件分岐に渡した場合、システムが静かに失敗する可能性があり、デバッグ支援の向上が求められる。