[論文レビュー] Functorial String Diagrams for Reverse-Mode Automatic Differentiation

Mario Alvarez-Picallo, Dan R. Ghica+2 more|arXiv (Cornell University)|Jul 28, 2021

Modeling and Simulation Systems参考文献 9被引用数 7

ひとこと要約

本稿は、単純型付きラムダ計算における逆モード自動微分（AD）の形式的モデル化と健全性の証明を可能にする、階層的特徴を備えた新しいファンクター的ストリング図計算を導入する。ADをハイパーグラフ（ハイパネットと呼ばれる）のグラフ書き換えとして表現することにより、原理的で効率的かつ形式的に検証可能な実装フレームワークを提供し、この文脈でPearlmutterとSiskindのADアルゴリズムに対する初めての健全性証明を確立する。

ABSTRACT

We enhance the calculus of string diagrams for monoidal categories with hierarchical features in order to capture closed monoidal (and cartesian closed) structure. Using this new syntax we formulate an automatic differentiation algorithm for (applied) simply typed lambda calculus in the style of [Pearlmutter and Siskind 2008] and we prove for the first time its soundness. To give an efficient yet principled implementation of the AD algorithm we define a sound and complete representation of hierarchical string diagrams as a class of hierarchical hypergraphs we call hypernets.

研究の動機と目的

• PearlmutterとSiskind（2008）の逆モード自動微分アルゴリズムの健全性を、形式的に証明すること。この分野において、それ以前にその健全性が確立されていなかった。
• モノイダル圏のストリング図計算に階層的構造を拡張し、閉じたモノイダル圏およびクリスティアン閉じた圏を表現可能にする。これにより高階関数やクロージャの表現が可能になる。
• 階層的ハイパーグラフ（ハイパネット）をデータ構造として用いることで、具体的で効率的かつ形式的に健全なADの実装を開発すること。これはダブル・プッシュアウト（DPO）のグラフ書き換えと互換性を持つ。
• 指定と実装の両者において、同一の形式的枠組み（ファンクター的ストリング図）を用いることで、ADの概念的側面と実装的側面を統一すること。

提案手法

• モノイダル圏におけるファンクター、自然変換、および高階構造を表現できるように、ラベル付きフレームと階層的ネストをストリング図の構文に拡張する。
• 前向きパスと逆向きパスのための書き換えシステムを導入する。前向きパスは埋め込みられたバックプロパゲーターを有するプライマル図を構築するが、逆向きパスは勾配を伝搬するためにプルバック図を適用する。
• 階層的ストリング図計算の健全かつ完全な表現を提供する「ハイパネット」と呼ばれるハイパーグラフのクラスを定義する。
• 正しく性質を保つために、ダブル・プッシュアウト（DPO）書き換えを用いてAD変換を実装する。これにより、明確に定義されたグラフ書き換え規則を通じて正しさとモularityが保証される。
• アドジョイント規則を抽象化と適用に再帰的に適用することでAD変換を実行し、ワイヤーの入れ替えを介して感度情報が保持されることを保証する。
• ワイヤーの入れ替えをmoduloとして考えるダイアモンド性の議論を用いて、書き換えシステムのコンフラuent性を証明する。これにより、決定的かつ正しく実行可能であることが保証される。

実験結果

リサーチクエスチョン

• RQ1 高階関数に対する逆モード自動微分アルゴリズムを、グラフィカルで圏論的枠組みを用いて形式的に健全であると証明することは可能か？
• RQ2 ストリング図をどのように階層的構造で拡張すれば、閉じたモノイダル圏およびクリスティアン閉じた圏を表現可能になり、ADをサポートできるか？
• RQ3 効率的かつ正しくADの実装を可能にする、健全かつ完全なグラフベースのデータ構造とは何か？
• RQ4 AD変換を階層的ハイパーグラフ上で一様にグラフ書き換えシステムとして表現することは可能か。正しさとモularityを保証できるか？

主な発見

• 本稿は、単純型付きラムダ計算の文脈で、PearlmutterとSiskind（2008）の逆モードADアルゴリズムに対する初めての形式的健全性証明を確立する。
• 提案された階層的ストリング図計算により、ADアルゴリズムの明確でモジュラーかつ帰納的な定式化が可能となり、健全性証明が容易になった。
• 前向きパスおよび逆向きパスの書き換えシステムは、ワイヤーの入れ替えをmoduloとしてダイアモンド性を満たすことが示され、コンフラuent性と決定的実行が保証された。
• ハイパネットのクラスは、階層的ストリング図の健全かつ完全な表現を提供し、ダブル・プッシュアウト書き換えを用いた効率的で原理的なAD実装を可能にする。
• AD変換は正しく導関数を計算する。具体的な例（x² + x）の検証において、入力1に適用した際、バックプロパゲーターが正しい導関数を出力することが確認された。