[論文レビュー] On the Equivalence of Forward Mode Automatic Differentiation and Symbolic Differentiation

Soeren Laue|arXiv (Cornell University)|Jan 1, 2019

Advanced Control Systems Optimization参考文献 18被引用数 2

ひとこと要約

この論文は、前方モードの自動微分（AD）と記号微分が、導関数を計算する際には同一の操作を実行するため、数学的に同等であることを示している。一般に広く信じられている「記号微分は表現の肥大化（expression swell）に苦しむが、ADはそうではない」という考えを覆し、同等の条件下では両者とも同じ表現の肥大化に直面することを示している。

ABSTRACT

We show that forward mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from expression swell whereas automatic differentiation does not. Here, we show that this statement is not true. Expression swell refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.

研究の動機と目的

• 前方モードの自動微分と記号微分が、導関数計算の計算的挙動において本質的に異なるとされる一般的な認識に挑戦すること。
• 記号微分はしばしば「表現の肥大化」に苦しむが、自動微分はそうではないとされるが、これが真にそうであるかを検証すること。
• 導関数計算中に実行する操作の観点から、両者の間の形式的同等性を確立すること。
• 記号微分と自動微分のスケーラビリティおよび表現効率に関する文献における誤解を明確にすること。

提案手法

• 著者たちは、同じ数学的式に対して前方モードADと記号微分の計算手順を形式的に比較した。
• 両手法が実行する算術演算および微分演算の順序を分析し、同一の操作木を生成することを示した。
• 分析は、特に導関数形の大きさと複雑さに注目した中間表現に焦点を当てた。
• 「表現の肥大化」を、元の関数に対する導関数表現のサイズの増加として定義し、両手法で評価した。
• 両手法が同じ中間表現を生成し、同じ順序で同じ操作を実行することを示すことで、同等性を実証した。
• 計算の形式的モデルを用いて、両者の唯一の違いは実装戦略に過ぎず、根本的な数学的プロセスには差がないことを示した。

実験結果

リサーチクエスチョン

• RQ1 同じ関数の導関数を計算する際、前方モードADと記号微分は、計算的挙動において本当に異なるのか？
• RQ2 記号微分は本質的に表現の肥大化に苦しむが、前方モードADはそれを回避する、という主張は、一般的に正しいのか？
• RQ3 同じ条件下で、記号微分と前方モードADの導関数の表現サイズが同等であることを示せるか？
• RQ4 実際の応用において、記号微分と自動微分の間の認識上の違いの実際の原因は何か？
• RQ5 記号微分と自動微分の違いは、数学的原則に基づくものか、実装上のヒューリスティクスに基づくものか？

主な発見

• 同じ関数の導関数を計算する際、前方モードADと記号微分は同一の操作を実行する。
• 記号微分は表現の肥大化に苦しむが、前方モードADはそうではないという主張は、両手法が同等の条件下で適用された場合には誤りである。
• 表現の肥大化は記号微分固有の性質ではなく、両者に共通する表現選択の結果に過ぎない。
• 両手法は、実行する操作の順序および中間表現の構造の観点から、数学的に同等である。
• 両者の間の認識上の違いは、計算的挙動に起因するのではなく、実装の詳細および表現管理の方法に起因する。
• 両手法が適用可能なすべての微分可能な関数について、標準的な評価順序および式簡略化規則の下では、同等性が保たれる。