[論文レビュー] CHAD for Expressive Total Languages

Fernando Lucatelli Nunes, Matthijs Vákár|Data Archiving and Networked Services (DANS)|Oct 1, 2021

Logic, programming, and type systems参考文献 33被引用数 4

ひとこと要約

この論文は、タプル、和型、帰納型、余帰納型、関数型を備えた表現力豊かな全関数型プログラミング言語へ、組み合わせ的同型的自動微分（CHAD）を拡張する。$Σ$-型と新規の論理関係技術を用いた圏論的意味論を開発することで、CHADが数学的微分を正しく計算することを証明し、豊かな型システムにおける原理的で純粋関数型的かつ形式的に正しい前向きモードおよび逆向きモードのADを可能にする。

ABSTRACT

We show how to apply forward and reverse mode Combinatory Homomorphic Automatic Differentiation (CHAD) to total functional programming languages with expressive type systems featuring the combination of - tuple types; - sum types; - inductive types; - coinductive types; - function types. We achieve this by analysing the categorical semantics of such types in $Σ$-types (Grothendieck constructions) of suitable categories. Using a novel categorical logical relations technique for such expressive type systems, we give a correctness proof of CHAD in this setting by showing that it computes the usual mathematical derivative of the function that the original program implements. The result is a principled, purely functional and provably correct method for performing forward and reverse mode automatic differentiation (AD) on total functional programming languages with expressive type systems.

研究の動機と目的

• 表現力豊かな型システム（タプル型、和型、帰納型、余帰納型、関数型を含む）を備えた全関数型プログラミング言語へ、組み合わせ的同型的自動微分（CHAD）を拡張すること。
• このような表現力豊かな型システムにおけるCHADの形式的で意味論的な基盤を、圏論的意味論を用いて提供すること。
• 新規の圏論的論理関係技術を用いて、CHADが標準的な数学的微分を正しく計算することを証明することで、CHADの正しさを確立すること。
• 高階関数および豊かな型構成子を備えた言語において、原理的で純粋関数型的かつ形式的に検証されたソースコード変換による前向きモードおよび逆向きモードの自動微分を可能にすること。
• ストリームや再帰的木構造などの複雑なデータ構造を備えた言語において、効率的かつ正しくADを実装することを可能にすること。

提案手法

• 適切なベース圏上の$Σ$-型（グロテンディーク構成）を用いて、表現力豊かな型システムの圏論的意味論を構築する。
• CHADの対象言語を定義し、全範囲の表現力豊かな型をサポートすることで、原始計算および接線計算の同型的符号化を可能にする。
• ソース言語から対象言語への一意に定義された同型的ファンクターとして、前向きおよび逆向きCHADアルゴリズムを導出する。
• 帰納型および余帰納型を同時に扱える新規の圏論的論理関係技術（sconing）を導入し、プログラムの推論に用いる。
• 具体的な意味論的解釈の上に論理関係の構成を適用し、CHADが微分を正しく計算することを証明する。
• 初期代数および余代数の意味論を用いて再帰的および余再帰的データ型をモデル化し、微分の下でも定義された振る舞いを保証する。

実験結果

リサーチクエスチョン

• RQ1 全関数型言語における帰納型および余帰納型をサポートするCHADは、どのように拡張可能か？
• RQ2 和型、積型、関数型を含む表現力豊かな型システムの意味論を、合成的ADを可能にする形で支える圏論的フレームワークは何か？
• RQ3 自動微分の文脈において、帰納型および余帰納型の両方を同時に扱える論理関係技術を開発可能か？
• RQ4 CHADは、ストリームや木構造などの複雑なデータ構造を扱う関数について、標準的な数学的微分を正しく計算するか？
• RQ5 高階関数および豊かな型構成子を含む環境において、CHADの正しさを形式的に証明可能か？

主な発見

• CHADは、タプル型、和型、帰納型、余帰納型、関数型を備えた全関数型言語へ正しく拡張され、前向きおよび逆向きモードADの両方を可能にする。
• 本論文は、帰納型および余帰納型の両方を扱える新規の圏論的論理関係技術を用いて、CHADの形式的正しさを証明した。
• 導出されたCHAD変換が、帰納型間の関数、特に再帰的データ構造を含む関数についても、正しい数学的微分を計算することが示された。
• この手法は純粋関数型であり、同型的ファンクターに基づくため、合成的かつ型安全な微分が保証される。
• 実行時トレースや独自の操作的意味論を必要とせず、静的で効率的なソースコード変換が可能である。
• 余代数的意味論と余帰納的推論のおかげで、無限または遅延評価のデータ構造を含むプログラムに対しても正しさの結果が成立する。