[論文レビュー] A Differential-form Pullback Programming Language for Higher-order Reverse-mode Automatic Differentiation

Carol Mak, C.-H. Luke Ong|arXiv (Cornell University)|Feb 19, 2020

Logic, programming, and type systems参考文献 26被引用数 10

ひとこと要約

この論文は、微分1形式のプルバックを通じてネイティブに逆モード自動微分（AD）をサポートする、1等級の微分作用素を備えた高階プログラミング言語を導入する。これは真に高階の設定において逆モードADを正確にシミュレートする還元戦略を提示し、Hahn-Banach分離定理を満たす微分λ圏によって正しさを証明する。

ABSTRACT

Building on the observation that reverse-mode automatic differentiation (AD) -- a generalisation of backpropagation -- can naturally be expressed as pullbacks of differential 1-forms, we design a simple higher-order programming language with a first-class differential operator, and present a reduction strategy which exactly simulates reverse-mode AD. We justify our reduction strategy by interpreting our language in any differential $λ$-category that satisfies the Hahn-Banach Separation Theorem, and show that the reduction strategy precisely captures reverse-mode AD in a truly higher-order setting.

研究の動機と目的

• ネイティブに逆モード自動微分をサポートする、シンプルな高階プログラミング言語を設計すること。
• 関数的で高階的な設定において、逆モードADを正確にシミュレートする還元戦略を提供すること。
• 特に微分λ圏を用いた圏論的手法により、還元戦略を形式的に正当化すること。
• 自由変数、双対、ネストされた抽象を含む高階関数の微分を可能にすること。
• 逆モードADの意味論を微分幾何学の観点から、微分1形式のプルバックを通じて統一すること。

提案手法

• 単純型付きλ計算に、微分1形式のプルバックを表す1等級の微分作用素 $(\Omega\lambda x.\mathbb{P}) \cdot \mathbb{S}$ を拡張する。
• 関数適用、射影、線形写像、双対、プルバックを含むコンテキストとレデックスを用いた値呼び戦略（call-by-value）を採用する。
• 基本的構成要素の還元を定義する：β還元、射影、線形写像適用、双対写像の合成。
• プルバックおよび双対のための特別な還元を導入し、ネストされたプルバックや $\mathcal{J}\underline{f} \cdot \underline{r}$ を用いたヤコビ行列の計算を処理する。
• 関数的評価に適応するため、継続渡しスタイル（CPS）変換を適用する。
• 還元の意味論を検証するため、Hahn-Banach分離定理を満たす微分λ圏を用いた圏的モデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 高階関数的言語において、逆モードADは微分1形式のプルバックとして自然に表現可能か？
• RQ2 高階関数に対して、逆モードADを正確にシミュレートする還元戦略を設計可能か？
• RQ3 微分の圏的モデル、特に微分λ圏を用いた場合、提案された還元戦略は妥当かつ完全か？
• RQ4 自由変数、双対、ネストされたプルバックを含む高階抽象の微分が、この言語で可能か？
• RQ5 Hahn-Banach分離定理を満たす微分λ圏に基づく圏的モデルは、還元戦略の正しさを検証可能か？

主な発見

• 還元戦略は高階設定において逆モードADを正確に捉えており、プルバックを通じてヤコビ行列のp番目の行を正しく計算する。
• 自由変数、双対、ネストされた抽象を含む高階関数の微分が、正しさを損なわずに可能である。
• 還元意味論は1階の場合において逆モードADに忠実であり、高階構成へ自然に拡張可能である。
• 還元戦略の正しさは、Hahn-Banach分離定理を満たす任意の微分λ圏への言語の解釈によって形式的に確立されている。
• プルバック作用素 $(\Omega\lambda x.\mathbb{P}) \cdot \mathbb{S}$ は、微分1形式のプルバックを通じて $\lambda x.\mathbb{P}$ の点 $\mathbb{S}$ における方向微分を正しく計算する。
• 還元戦略のCPS変換により、効率的でモジュラーな評価が可能となり、逆モードADの意味論が保持される。