[論文レビュー] Evolving the Incremental Lambda Calculus into a Model of Forward Automatic Differentiation (AD)

Robert Kelly, Barak A. Pearlmutter+1 more|arXiv (Cornell University)|Nov 10, 2016

Logic, programming, and type systems参考文献 5被引用数 7

ひとこと要約

この論文は、有限の変化をべき級数に変換し、原始値と接線値を束ねることで、增量ラムダ計算（ILC）をフォワード自動微分（AD）の形式的モデルへと発展させる。このアプローチにより、正しさと効率性の機械検証可能な証明が可能となり、最終的に、未カリー化で束ねられた出力を備えた双曲数ベースのフォワードADシステムが得られ、合成則を満たす。

ABSTRACT

Formal transformations somehow resembling the usual derivative are surprisingly common in computer science, with two notable examples being derivatives of regular expressions and derivatives of types. A newcomer to this list is the incremental λ-calculus, or ILC, a "theory of changes" that deploys a formal apparatus allowing the automatic generation of efficient update functions which perform incremental computation. The ILC is not only defined, but given a formal machine-understandable definition---accompanied by mechanically verifiable proofs of various properties, including in particular correctness of various sorts. Here, we show how the ILC can be mutated into propagating tangents, thus serving as a model of Forward Accumulation Mode Automatic Differentiation. This mutation is done in several steps. These steps can also be applied to the proofs, resulting in machine-checked proofs of the correctness of this model of forward AD.

研究の動機と目的

• 増分ラムダ計算（ILC）を基盤として、フォワード自動微分（AD）を形式化すること。
• ILCの有限の変化とADが求める無限小の接線との不一致を解消するため、べき級数表現を導入すること。
• 未カリー化と束ねることで、原始値と接線値を統合し、合成則の正しく伝搬されるようにすること。
• フォワードADの正しさと効率性を機械検証可能な枠組みで証明すること。
• 数値的基盤関数と持ち上げ演算を明確に分離することで、従来の型付きλ計算アプローチに比べ、結合性とモジュラリティを向上させること。

提案手法

• 実数への変化を、定数項がゼロのεに関するべき級数として表現し、再帰的型⟨zpsε⟩を用いる。
• 係数抽出演算子coefficientを定義し、べき級数のi番目の係数を取得することで、方向微分を可能にする。
• 構造的再帰とαリネームを用いて、代数的データ型および関数へcoefficientを拡張し、変数の捕獲を回避する。
• ILCの微分演算子Dを、入力を未カリー化し、原始値と変化集合の値を積型Ft ≡ t × ∆tに束ねることで、ˆDに変換する。
• 新しい束ねられ、未カリー化された微分の意味論をサポートするように、ILCの還元規則を変更する。
• べき級数をε²で切り詰めることで双曲数を得られ、標準的なフォワードAD形式が回復される。

実験結果

リサーチクエスチョン

• RQ1 増分ラムダ計算を、フォワード自動微分のモデルへ体系的に発展させるにはどうすればよいか？
• RQ2 有限の変化をADに適した無限小の接線に変換するために、どのような変更が必要か？
• RQ3 原始値と接線値を関数合成を通して一貫して束ね、伝搬させることは可能か？
• RQ4 得られたシステムは合成則を保持し、正しさの機械検証可能な証明を可能にするか？
• RQ5 このアプローチは、従来の型付きλ計算モデルに比べ、モジュラリティと結合性においてどのように向上しているか？

主な発見

• 変化のべき級数表現により、係数抽出によって方向微分を体系的に導出可能であり、coeff1により標準的微分が回復される。
• ILCからフォワードADへの変換は、2つの明確なステップ（べき級数の拡張と未カリー化・束ね）で達成され、これらは可換である。
• 得られたˆD演算子は、簡略化された合成則ˆD(f ◦g) ⇝ ˆDf ◦ ˆDgを満たし、標準的なフォワードADの挙動と一致する。
• 形式的かつ型安全な構造のおかげで、正しさと効率性の機械検証可能な証明が可能になる。
• 数値的基盤関数と持ち上げ演算を分離することで、結合性が向上し、従来のシステムに見られた型レベルの曖昧性が回避される。
• αリネームと構造的coeffi拡張を用いることで、チャーチ符号化されたデータおよび高階関数に対しても、正しい接線の伝搬が可能になる。