[論文レビュー] On the Equivalence of Automatic and Symbolic Differentiation

Soeren Laue|arXiv (Cornell University)|Apr 5, 2019

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、逆モードの自動微分と記号微分がアルゴリズム的に同等であることを示しており、共通部分式を用いる場合、導関数を計算する際に同一の操作を実行することを示している。主な洞察は、共通部分式が使用される場合、両手法が同じ導関数式を計算することであり、自動微分が『式の膨張』を回避するという広く信じられている考えを覆している。実際の『式の膨張』は、微分自体の問題ではなく、表現の不適切さに起因するものである。

ABSTRACT

We show that reverse mode automatic differentiation and symbolic differentiation are equivalent in the sense that they both perform the same operations when computing derivatives. This is in stark contrast to the common claim that they are substantially different. The difference is often illustrated by claiming that symbolic differentiation suffers from "expression swell" whereas automatic differentiation does not. Here, we show that this statement is not true. "Expression swell" refers to the phenomenon of a much larger representation of the derivative as opposed to the representation of the original function.

研究の動機と目的

• 自動微分と記号微分が本質的に異なるものであるという一般的な信念に挑戦すること。
• 『式の膨張』—自動微分の主な利点とされる現象—が、記号微分固有のものではなく、効率の悪い式表現に起因することを明確にすること。
• 共通部分式が適切に管理される場合、両手法が同一の操作を実行することを実証すること。
• Theano のようなツールが、どちらの手法を使用しているか曖昧に分類されている文献における混乱を解消すること。
• 制御構造（if-else やループ）が両手法の根本的差異を生じさせないことを示すこと。両手法とも、根本的な計算グラフ上で動作するためである。

提案手法

• 論文は、プログラムの計算トレースを表す有向無閉路グラフ（DAG）を用いて関数をモデル化する。
• 共通部分式を含むDAGおよび式の森に対して、逆モードの自動微分と記号微分の微分ルールを分析することで、両者の比較を行う。
• 各ノードに対して、子ノードに基づき合成関数の微分法則を用いて導関数を再帰的に計算するルールを形式化する。
• 共通部分式をコピーではなくポインタで格納する場合、記号微分と逆モードの自動微分が、中間および最終の結果において同一のものを得ることを示す。
• Speelpenningの例（f(x₁,…,xₙ) = x₁x₂…xₙ）を用いて、両手法が同じ勾配を計算することを説明する。最終的な出力が大きくなるが、これは両手法に共通する現象である。
• 微分の過程で式の簡略化と共通部分式の削除が可能であり、微分後ではなく微分中に実行できるため、両手法は同等の効率を持つ。

実験結果

リサーチクエスチョン

• RQ1 逆モードの自動微分と記号微分は、計算操作において本当に異なるのか？
• RQ2 『式の膨張』は微分プロセス自体に起因するのか、それとも式表現の選択に起因するのか？
• RQ3 共通部分式が適切に管理される場合、記号微分は自動微分と同等の効率を達成できるのか？
• RQ4 if-else やループなどの制御構造は、両手法の同等性にどのように影響するか？
• RQ5 自動微分と記号微分の違いは、実装上の問題か、根本的なアルゴリズム的差異か？

主な発見

• 共通部分式が使用される場合、逆モードの自動微分と記号微分は同一の操作セットを実行するため、アルゴリズム的に同等であることが証明された。
• 『式の膨張』は記号微分に起因するのではなく、共通部分式を持たない木構造にDAGを変換することに起因する。これは表現上の問題であり、計算上の問題ではない。
• 共通部分式をポインタで格納する場合、導関数式のサイズは元のDAGのサイズに対して線形に保たれ、指数的増加を回避できる。
• 共通部分式の削除は後処理で行う必要があるという主張は誤りである。微分の過程で統合可能であり、記号微分も自動微分と同等の効率を持つ。
• 制御構造は同等性を破らない。両手法とも、制御フローを抽象化する根本的な計算グラフ上で動作するためである。
• Speelpenningの例は、記号微分の非効率を示すものではない。両手法が同じ勾配を計算し、最終的な出力サイズは簡略化によって小さくなるが、これはアルゴリズム的優位性によるものではない。