[論文レビュー] Tangent: Automatic Differentiation Using Source Code Transformation in Python

Bart van Merriënboer, Alexander B. Wiltschko+1 more|arXiv (Cornell University)|Nov 7, 2017

Computational Physics and Python Applications参考文献 8被引用数 14

ひとこと要約

Tangentは、純粋なPythonおよびNumPyコードから人間が読み取りやすくデバッグ可能な勾配関数を生成する、ソースコード変換（SCT）に基づく自動微分ライブラリである。Tangentは速度面でAutogradを上回り、TensorFlowと同等のパフォーランスを発揮し、カスタム勾配の挿入により実行時効率と拡張性を両立している。

ABSTRACT

Automatic differentiation (AD) is an essential primitive for machine learning programming systems. Tangent is a new library that performs AD using source code transformation (SCT) in Python. It takes numeric functions written in a syntactic subset of Python and NumPy as input, and generates new Python functions which calculate a derivative. This approach to automatic differentiation is different from existing packages popular in machine learning, such as TensorFlow and Autograd. Advantages are that Tangent generates gradient code in Python which is readable by the user, easy to understand and debug, and has no runtime overhead. Tangent also introduces abstractions for easily injecting logic into the generated gradient code, further improving usability.

研究の動機と目的

• Autograd や TensorFlow などのトレーシングベースのADシステムの使いやすさとデバッグ可能性の制限を、ソースコード変換（SCT）を用いて解消すること。
• 計算グラフの複雑さを避けるために、自然なPythonの制御構文と完全に統合された、イディオム的なPythonで機械学習モデルを記述できるようにすること。
• 実行時ではなくコンパイル時に新しいPython関数を生成することで、読み取りやすく、検査可能で最適化可能な勾配コードを提供すること。
• トランケートドバックプロパゲーションやストレートスラッシュ推定器のような高度なユースケースに対応するため、勾配計算にカスタムロジックを挿入できること。
• 実行時オーバーヘッドをゼロにすることで、インタプリタの解釈コストとは独立して事前に自動微分を実行し、高いパフォーランスを達成すること。

提案手法

• ユーザー定義のPython関数を抽象構文木（AST）操作によって変換し、勾配を計算する新しい関数を生成する。
• ASTに対して前方データフロー解析を実行し、有効な変数を特定し、最適化のための制御フローグラフ（CFG）を構築する。
• 代数的簡略化（例：ゼロ初期化や蓄積の削除）およびデッドコード削除を、変換済みのASTに対して適用する。
• 独自のAST変換器を用いて、操作を書き換えながら元の意味論を保持したまま、勾配計算ロジックを挿入する。
• 一等級の変換操作を用いて勾配の挿入をサポートし、ユーザーが生成された勾配関数にカスタムコードを直接挿入できるようにする。
• 変換済みのASTに対してコンパイラ的手法を用いて、コードの可読性とパフォーランスの両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 Pythonにおけるソースコード変換は、実行時オーバーヘッドがなく、人間が読み取りやすい勾配関数を生成できるか？
• RQ2 トレーシングベースのADシステム（例：Autograd）やグラフベースのフレームワーク（例：TensorFlow）と比較して、SCTベースのADはパフォーマンスと使いやすさの面でどのように差をつけるか？
• RQ3 SCTベースのADは、ループや条件分岐などの複雑な制御構文を、自然でイディオム的なPythonスタイルでどの程度サポートできるか？
• RQ4 元の関数を変更せず、内部の実行時メカニズムに依存せずに、ユーザーが勾配計算にカスタムロジックを挿入できるか？
• RQ5 実世界の機械学習モデルに適用した場合、SCTベースのADに実用的な制限は何か？

主な発見

• Tangentは、特に小さなモデルサイズの場合、解釈コストの削減により、マルチレイヤーパーセプトロン（MLP）ベンチマークでAutogradを上回っている。
• Tangentは、MLPベンチマークの全モデルサイズにおいて、TensorFlowと同等またはわずかに優れたパフォーマンスを発揮しており、ほぼ最適な効率性を示している。
• 条件分岐を含む単純なループベンチマークでは、TangentがAutogradおよびTensorFlowの両方を上回り、制御フローに依存するワークロードでの利点を確認している。
• 生成された勾配コードは完全に検査可能でデバッグ可能であり、隠れた実行時テープやメタプログラミングロジックが存在しないため、標準のPythonコードである。
• 変換済みのASTにおける代数的簡略化とデッドコード削除により、意味論を変更せずにコードの複雑さが低減され、パフォーランスが向上している。
• Tangentは、直接的なカスタム勾配ロジックの挿入を可能としており、トランケートドバックプロパゲーションやストレートスラッシュ推定器といった高度な技術を、一等級の言語サポートで実現している。