[論文レビュー] Automatic differentiation in machine learning: a survey

Shaikhha, Amir, Barak A. Pearlmutter|arXiv (Cornell University)|Feb 20, 2015

Gaussian Processes and Bayesian Inference参考文献 30被引用数 843

ひとこと要約

本調査では、機械学習における自動微分（AD）の包括的概要を提供し、数値微分および記号微分との違いを明確にしている。ADが前向き蓄積モードおよび逆向き蓄積モードを用いて、正確かつ効率的な勾配計算を可能にすることを説明し、複雑な制御フローを伴うモデルのエンドツーエンド微分を可能にする基盤的ツールとしての採用を提唱している。

ABSTRACT

Derivatives, mostly in the form of gradients and Hessians, are ubiquitous in machine learning. Automatic differentiation (AD), also called algorithmic differentiation or simply "autodiff", is a family of techniques similar to but more general than backpropagation for efficiently and accurately evaluating derivatives of numeric functions expressed as computer programs. AD is a small but established field with applications in areas including computational fluid dynamics, atmospheric sciences, and engineering design optimization. Until very recently, the fields of machine learning and AD have largely been unaware of each other and, in some cases, have independently discovered each other's results. Despite its relevance, general-purpose AD has been missing from the machine learning toolbox, a situation slowly changing with its ongoing adoption under the names "dynamic computational graphs" and "differentiable programming". We survey the intersection of AD and machine learning, cover applications where AD has direct relevance, and address the main implementation techniques. By precisely defining the main differentiation techniques and their interrelationships, we aim to bring clarity to the usage of the terms "autodiff", "automatic differentiation", and "symbolic differentiation" as these are encountered more and more in machine learning settings.

研究の動機と目的

• 機械学習の文脈において、自動微分、数値微分、記号微分の概念的および技術的差異を明確にすること。
• 複雑な制御フローと大規模なパラメータ空間を伴うモデルにおいて、自動微分が正確かつ効率的な勾配計算を可能にする仕組みを示すこと。
• 一般用途の自動微分を機械学習ツールキットのコアに統合することを提唱し、特定の用途向けまたは手動による導出を置き換えること。
• 機械学習コミュニティと自動微分コミュニティの間のギャップを埋め、共通の問題と相互の利点を強調すること。
• 今後の研究における主な機会を特定すること、特にネストされたAD、高階微分、ADの文献からのパフォーマンス最適化技術。

提案手法

• 数値関数をコンピュータプログラムとして表現した場合に、前向き蓄積モードおよび逆向き蓄積モードを用いて正確な導関数を計算する自動微分の手法を用いる。
• ADをコードの非標準的解釈として説明し、変数に導出値を拡張し、演算子をチェーンルールに従って導出を伝搬するように再定義することで実現すること。
• 有限差分法による数値微分と、式の操作に基づく記号微分とを比較し、ADの正確性と効率性を強調すること。
• 実装手法のレビュー：演算子オーバーロード、ソースコード変換、抽象解釈。それぞれが表現力とパフォーマンスの面で異なるトレードオフを持つこと。
• 演算子オーバーロードと動的計算グラフを用いることで、微分可能なプログラミングを可能にする、autograd、Chainer、PyTorch などの現代的ADフレームワークを強調すること。
• メモリ効率の良い逆向きモードを実現するための、テープ削減、スパarsityを活用する行列彩色、チェックポイント技術などの高度なAD技術を議論すること。

実験結果

リサーチクエスチョン

• RQ1 機械学習の文脈において、自動微分は、数値微分および記号微分と根本的にどのように異なるか？
• RQ2 一般用途の自動微分のための主要な実装戦略は何か？ それぞれがパフォーマンスと表現力にどのように影響を与えるか？
• RQ3 自動微分は、他の科学的計算分野で長年にわたり使用されてきたにもかかわらず、なぜ機械学習においてはあまり活用されていないのか？
• RQ4 ハイパーパramータ最適化に応用するため、自動微分を高階微分およびネストされた微分をサポートするようにどのように拡張できるか？
• RQ5 ADの文献に由来するパフォーマンス最適化技術は、現代の機械学習モデルにおける学習効率と収束性を向上させるためにどのように活用できるか？

主な発見

• 自動微分は、僅かな定数倍のオーバーヘッドで機械精度の正確な導関数を計算でき、有限差分法よりもはるかに正確かつスケーラブルである。
• 逆向きモードADは、バックプロパゲーションと数学的に同等であり、数百万のパラメータを持つ深層ニューラルネットワークにおいて効率的な勾配計算を可能にする。
• 演算子オーバーロードに基づくADフレームワーク（autograd や PyTorch）は、ループ、条件分岐、再帰を含む任意のPythonコードをシームレスに微分可能にし、微分可能なプログラミングを実現する。
• ネストされた自動微分により、ハイパーパramータに関する訓練目的関数の導関数（ハイパーグラデント）を正確に計算でき、高度な最適化やモデル選択が可能になる。
• 行列彩色によるスパarsityの活用や、逆向きモードのチェックポイント技術は、大規模ADアプリケーションにおいてメモリ使用量を顕著に削減し、パフォーマンスを向上させることができる。
• 現代の機械学習フレームワークへのADの統合により、迅速なプロトタイピングが可能となり、高階微分や複雑な制御フローに依存する新しいモデルの開発が促進された。