[論文レビュー] Principles of Automatic Differentiation

Philipp Hoffmann|arXiv (Cornell University)|Nov 3, 2014

Numerical methods for differential equations参考文献 7被引用数 3

ひとこと要約

この論文は、自動微分（AD）の数学的基盤を確立し、双数、行列・ベクトル積、テイラー展開、プッシュフォワード作用素といった、前向きモードADの複数の定式化を、それらの計算的同等性を示すことによって統一する。さらに、高階の前向きモードADを導入し、前向きモードと逆向きモードADの関係を明らかにし、両者の共通する計算的根拠を明確にする。

ABSTRACT

This article provides an overview of some of the mathematical principles of Automatic Differentiation (AD). In particular, we summarise different descriptions of the Forward Mode of AD, like the matrix-vector product based approach, the idea of lifting functions to the algebra of dual numbers, the method of Taylor series expansion on dual numbers and the application of the push-forward operator, and explain why they all reduce to the same actual chain of computations. We further give a short mathematical description of some methods of higher-order Forward AD and, at the end of this paper, describe the Reverse Mode and explain its relation to the Forward Mode.

研究の動機と目的

• 前向きモード自動微分の多様な数学的定式化を、一貫した計算フレームワークに統合すること。
• 双数やプッシュフォワード作用素といった、見た目は異なるADアプローチの同等性を、共通の計算チェーンを通じて明確にすること。
• 高階の前向きモードADへの分析の拡張と、逆向きモードADが前向きモードとどのような関係にあるか、その背後にある原理的側面を明らかにすること。
• ADの実装と理論的理解を支援する、数学的に厳密な基盤を提供すること。

提案手法

• 各数が値と微分成分を保持する双数の代数を用いて、前向きモードADを形式化する。
• 方向微分の文脈において、行列・ベクトル積を用いて合成関数の微分法則を表現する。
• 双数に対するテイラー展開を用いて、微分の順序を保ちながら同じ計算結果を導出する。
• プッシュフォワード作用素を用いて、合成関数を通じた微分の伝播をモデル化する。
• 再帰的リフトと高階の双数を用いて、フレームワークを高階微分へと拡張する。
• 随伴の伝播と前向き蓄積の双対性を分析することで、逆向きモードADと前向きモードADを比較する。

実験結果

リサーチクエスチョン

• RQ1 双数、行列・ベクトル積、テイラー級数、プッシュフォワードといった、前向きモードADの異なる定式化は、どのように同じ計算結果をもたらすのか？
• RQ2 これらの多様なAD定式化の同等性を支える数学的構造は何か？
• RQ3 前向きモードADの原則に従って、高階微分を体系的に計算する方法は何か？
• RQ4 計算的および代数的構造の観点から、逆向きモードADは前向きモードADとどのように関係しているか？

主な発見

• 双数、行列・ベクトル積、テイラー級数、プッシュフォワードの各定式化は、すべて同型な計算行動を示すため、同じ微分の連鎖を計算する。
• 双数の使用により、1階微分の合成関数の微分法則を自然に表現する代数的枠組みが得られる。
• 高階微分を体系的に計算可能にするために、双数に高階の項を追加することで、高階の前向きモードADを構築できる。
• 逆向きモードADは数学的に前向きモードADの双対であり、主な差異は微分の伝播方向と随伴の使用にある。