[論文レビュー] Forward- or Reverse-Mode Automatic Differentiation: What's the Difference?

Birthe van den Berg, Tom Schrijvers+2 more|arXiv (Cornell University)|Dec 21, 2022

Formal Methods in Verification被引用数 4

ひとこと要約

この論文は、関数型プログラミングの文脈において、半環構造を用いて実装を形式化することで、前向きモードと逆向きモードの自動微分（AD）の違いを明確にしている。両モードがそれぞれ異なる半環構造から自然に生じることを示しており、具体的には前向きモードには双数の半環、逆向きモードには双数の双対が対応することを明らかにし、関数型言語におけるADの統一的で数学的に厳密な基盤を提供する。

ABSTRACT

Automatic differentiation (AD) has been a topic of interest for researchers in many disciplines, with increased popularity since its application to machine learning and neural networks. Although many researchers appreciate and know how to apply AD, it remains a challenge to truly understand the underlying processes. From an algebraic point of view, however, AD appears surprisingly natural: it originates from the differentiation laws. In this work we use Algebra of Programming techniques to reason about different AD variants, leveraging Haskell to illustrate our observations. Our findings stem from three fundamental algebraic abstractions: (1) the notion of module over a semiring, (2) Nagata's construction of the 'idealization of a module', and (3) Kronecker's delta function, that together allow us to write a single-line abstract definition of AD. From this single-line definition, and by instantiating our algebraic structures in various ways, we derive different AD variants, that have the same extensional behaviour, but different intensional properties, mainly in terms of (asymptotic) computational complexity. We show the different variants equivalent by means of Kronecker isomorphisms, a further elaboration of our Haskell infrastructure which guarantees correctness by construction. With this framework in place, this paper seeks to make AD variants more comprehensible, taking an algebraic perspective on the matter.

研究の動機と目的

• 前向きモードと逆向きモードの自動微分の概念的および実装レベルの違いを明確化すること。
• 関数型プログラミングの枠組み内で、半環構造を用いて両ADモードを形式化すること。
• 前向きモードADが双数の半環に対応すること、逆向きモードADが双数の双対から生じることを示すこと。
• 代数的抽象を用いて、両ADモードを型安全に実装できる統一されたフレームワークを提供すること。
• 特に強力な型システムを持つ関数型言語において、形式的意味論を通じてADの正しさや性能についてより良い推論を可能にすること。

提案手法

• 加法と乗法の演算を持つ、(Expr v)として表現される双数を半環として扱うこと。
• 標準的な双数の半環を用いて前向きモードADを定義し、各値に微分成分を保持させること。
• 双数の双対を用いて逆向きモードADをモデル化し、微分を逆順に蓄積すること。
• 加法（⊕）と乗法（⊗）の半環演算を符号化し、型レベルの違いによって両モードをサポートすること。
• 命令的制御フローではなく、代数的構造を通じて前向きおよび逆向きADの振る舞いを導出すること。
• 正しさを保証し、AD実装における一般的な落とし穴を回避するために、関数型プログラミングの抽象を活用すること。

実験結果

リサーチクエスチョン

• RQ1 前向きモードと逆向きモードの自動微分は、それらの基本的な代数的構造においてどのように異なるか？
• RQ2 半環を用いて、両ADモードを単一の意味論的枠組みで統一的に扱うことは可能か？
• RQ3 関数型環境において、逆向きモードADを可能にする双数の双対の役割は何か？
• RQ4 半環の意味論を用いて、型安全かつ合成可能な方法で両ADモードを実装するにはどうすればよいか？
• RQ5 代数的構造を用いることで、ADシステムにおける正しさと性能に関する考察にどのような影響を与えるか？

主な発見

• 前向きモードADは、評価中に微分成分を計算する双数の半環を自然に用いてモデル化できる。
• 逆向きモードADは双数の双対から生じ、逆走行により勾配を効率的に蓄積可能である。
• 両モードの違いは、アルゴリズム的設計ではなく、半環構造の選択に根ざした本質的な代数的性質に起因する。
• 半環の抽象化により、同じ関数型フレームワーク内で両モードを実装でき、コンパイラが型安全性を保証する。
• このアプローチは、関数型言語におけるADの数学的に妥当で合成可能な基盤を提供し、実装エラーを低減する。
• 形式化により、逆向きモードADは別個のアルゴリズムではなく、半環フレームワーク下での前向きモードADの双対的構成であることが明らかになった。