[論文レビュー] Tangent: Automatic differentiation using source-code transformation for dynamically typed array programming

Bart van Merriënboer, Dan Moldovan+1 more|arXiv (Cornell University)|Sep 25, 2018

Evolutionary Algorithms and Applications被引用数 16

ひとこと要約

Tangentは、動的型付け言語であるPythonにおいて、ソースコード変換（SCT）を用いた自動微分ライブラリの第一号であり、Pythonエコシステムに完全に互換性を持つ高パフォーマンスな導関数を効率的に提供する。これは、恒久的データ構造、遅延評価された勾配、静的最適化を活用することで実現され、可変配列、観察可能な導関数コード、勾配修正の機能をサポートしており、既存のフレームワークと同等のパフォーマンスを発揮しながら、シームレスなデバッグとプロファイリングを可能にする。

ABSTRACT

The need to efficiently calculate first- and higher-order derivatives of increasingly complex models expressed in Python has stressed or exceeded the capabilities of available tools. In this work, we explore techniques from the field of automatic differentiation (AD) that can give researchers expressive power, performance and strong usability. These include source-code transformation (SCT), flexible gradient surgery, efficient in-place array operations, higher-order derivatives as well as mixing of forward and reverse mode AD. We implement and demonstrate these ideas in the Tangent software library for Python, the first AD framework for a dynamic language that uses SCT.

研究の動機と目的

• Pythonのような動的型付け言語に対して、ソースコード変換（SCT）に基づく自動微分システムを開発し、演算子オーバーロード手法に起因する制限を克服すること。
• イン-place配列操作、高階導関数、混合前向き/後向きモードADといった機能を備えた、表現力豊かな機械学習モデル開発を可能にすること。
• ソースコードそのものに直接作用することで、デバッガーやプロファイラー、インスペクションツールを含むPythonエコシステム全体と完全に互換性を持つこと。
• SCTを動的言語に適用することで、既存のフレームワークと同等のパフォーマンスを達成しつつ、高度なデバッグおよび最適化機能を提供できることを示すこと。
• 静的解析およびコード変換を用いて、Pythonにおける一般化された微分可能なプログラミングの実現可能性と実装方法を調査すること。

提案手法

• Tangentは、PythonのASTに対してソースコード変換を施し、導関数関数を生成する。制御フローを逆転させることで、後向きモードADを実装する。
• 可変多次元配列を効率的に表現するために、恒久的データ構造を用いることで、後向きモードADにおけるメモリオーバーヘッドを最小限に抑える。
• 勾配計算を必要に応じて遅延評価することで、不要な計算を回避し、パフォーマンスを向上させる。
• 変換済みコードに対して、複数ディスpatchおよび静的最適化を適用し、実行時の効率を向上させるとともに、ホールプログラム解析を可能にする。
• ユーザーが後向きパスに任意のコードを挿入できるようにすることで、勾配修正をサポートし、導関数に対する細かい制御を可能にする。
• 摂動の混乱を回避するため、イン-place操作およびクロージャーに対する制限を課すことで、AD変換の正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 Pythonのような動的型付け言語に対して、ソースコード変換を効果的に適用し、高パフォーマンスな自動微分を実現できるか？
• RQ2 SCTに基づくADシステムにおいて、可変多次元配列をどのように効率的に表現・微分できるか？
• RQ3 SCTに基づくADフレームワークが、勾配修正、高階導関数、混合前向き/後向きモードといった高度な機能をどの程度サポートできるか？
• RQ4 SCTに基づくADが、既存の演算子オーバーロードフレームワークと同等のパフォーマンスを達成しつつ、Pythonのデバッグおよびプロファイリングツールと完全に互換性を持つことができるか？
• RQ5 動的言語におけるSCTベースのADの正しさと実現可能性を保証するため、言語レベルでどのような制限が必要か？

主な発見

• Tangentは、動的型付け言語における自動微分のためのソースコード変換を成功裏に実装し、その分野で最初のフレームワークである。
• MLPおよび格子言語モデルのベンチマークを通じて、Autograd や TensorFlow といった既存のフレームワークと同等の実行時パフォーマンスを達成していることが実証された。
• ソースコードそのものに直接作用するため、TangentはPythonのデバッグおよびプロファイリングツールと完全に互換性を持つ。これにより、開発者は標準的なデバッグおよびインスペクション機能をそのまま利用可能である。
• 恒久的データ構造と遅延評価された勾配の活用により、後向きモードADにおけるメモリオーバーヘッドが低減され、パフォーマンスが向上した。
• Tangentは、演算子オーバーロードフレームワークではネイティブにサポートされていない、勾配修正やイン-place配列操作といった高度な機能をサポートしている。
• ユーザーのコードに対する制限は最小限に抑えられており、データ依存の制御フローと通常のPython構文を許容している。正しさは静的解析およびコード変換によって保証されている。