[論文レビュー] Automatic Differentiation of Algorithms for Machine Learning

Atılım Güneş Baydin, Barak A. Pearlmutter|arXiv (Cornell University)|Apr 28, 2014

Numerical Methods and Algorithms参考文献 13被引用数 23

ひとこと要約

この論文は、機械学習における自動微分（AD）の採用を提唱しており、コードのアルゴリズム的変換により、効率的で正確な導出計算を可能にする方法を示している。前向きモードおよび逆向きモードADを適用することで、手動、数値的、記号的微分よりも優れた性能を発揮し、特にニューラルネットワークの学習や複雑なモデルの最適化において、実装のオーバーヘッドを最小限に抑えられる。

ABSTRACT

Automatic differentiation---the mechanical transformation of numeric computer programs to calculate derivatives efficiently and accurately---dates to the origin of the computer age. Reverse mode automatic differentiation both antedates and generalizes the method of backwards propagation of errors used in machine learning. Despite this, practitioners in a variety of fields, including machine learning, have been little influenced by automatic differentiation, and make scant use of available tools. Here we review the technique of automatic differentiation, describe its two main modes, and explain how it can benefit machine learning practitioners. To reach the widest possible audience our treatment assumes only elementary differential calculus, and does not assume any knowledge of linear algebra.

研究の動機と目的

• 手動、数値的、記号的微分よりも優れた利点があるにもかかわらず、機械学習における自動微分（AD）の活用が不十分であるという問題に取り組む。
• ADを機械学習ワークフローにおける実用的で汎用的な導出計算手法として説明する。
• ADが制御構造やループを含む任意のコードに適用可能であり、記号的変換を必要としないことを示す。
• ニューラルネットワークや確率的システムのようなモデルにおける勾配ベース最適化において、ADの性能と正確性の優位性を強調する。
• 特にハイパーパrameter最適化や構成的学習システムにおいて、ADを今後の機械学習研究の基盤的ツールとして推進する。

提案手法

• 基本的な演算を経由して双数を伝搬することで、前向きモードADを適用し、方向微分を効率的に計算する。
• スカラー値関数の複数の入力に関する勾配を、逆順の連鎖律を活用して逆向きモードADで計算する。
• 演算子オーバーロード、ソースコード変換、ライブラリ呼び出しを介して、ADツールを既存の機械学習コードに組み込む。
• 近似誤差を避けるために、最適化パイプラインにADを統合し、数値微分の問題を回避する。
• 条件分岐、ループ、関数呼び出しを含む複雑なアルゴリズムに対しても、それらを基本的演算の列とみなすことによりADを適用可能にする。
• 最適化や感度分析において、Hessian行列などの高階導関数を計算するためにADを活用し、CTRNNなどのモデルにおける学習効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自動微分は、手動または数値的メソッドと比較して、機械学習モデルにおける勾配計算の正確性と効率性をどのように向上させるか？
• RQ2 逆向きモードADは、ニューラルネットワーク学習における誤差逆伝播法をどのように一般化し、包含するか？
• RQ3 記号的微分とは異なり、長年にわたり他の科学的計算分野で使用されてきたにもかかわらず、自動微分がなぜ機械学習であまり使われていないのか？
• RQ4 制御構造（ループや条件分岐を含む）を含む任意のアルゴリズムにADを適用する際、構造的変更なしにどの程度適用可能か？
• RQ5 ADは、ハイパーパrameter最適化や高階導関数の計算といった、機械学習における新しい応用をどのように可能にするか？

主な発見

• 自動微分は、数値微分に内在する切り捨て誤差や丸め誤差を回避するため、わずかな定数倍のパフォーマンスオーバーヘッドで正確な導関数を提供する。
• 逆向きモードADは誤差逆伝播法を一般化し、最小限のコード変更でニューラルネットワークにおける全勾配を効率的に計算可能にする。
• 記号的微分を回避することで、変数が多数存在する大規模モデルにおいても実用的であるため、ADは表現の膨張を避ける。
• コンピュータビジョン分野の応用、例えば医療画像のアライメントにおいて、逆ADを用いることで数値微分よりも6倍の高速化が達成された。
• ADにより、連続時間の再帰的ニューラルネットワーク（CTRNN）の効率的学習が可能になり、高階導関数の計算によって学習時間が著しく短縮された。
• ADのネストされた応用により、複数の微分可能コンponentで構成される複雑なシステムの勾配ベース最適化が可能になり、構成的学習が支援された。