[論文レビュー] Derivatives of Turing machines in Linear Logic

James Clift, Daniel Murfet|arXiv (Cornell University)|May 30, 2018

Computability, Logic, AI Algorithms参考文献 38被引用数 3

ひとこと要約

この論文は、スウィーデラーセマンティクスを用いて線形論理におけるチューリング機械符号化のEhrhard-Regnier微分を計算し、これらの微分が条件付き独立性仮定下でのベイズ的信念度として定義されるナイーブ確率における変化率を表すことを示している。主な貢献は、微分線形論理と勾配ベースの学習との間の形式的リンクを確立し、チューリング機械の微分が入力の不確実性に対する感度を計算することを示したことである。

ABSTRACT

We calculate denotations under the Sweedler semantics of the Ehrhard-Regnier derivatives of various encodings of Turing machines into linear logic. We show that these derivatives calculate the rate of change of probabilities naturally arising in the Sweedler semantics of linear logic proofs. The resulting theory is applied to the problem of synthesising Turing machines by gradient descent.

研究の動機と目的

• スウィーデラーセマンティクスを用いて、線形論理におけるチューリング機械符号化のEhrhard-Regnier微分を計算すること。
• これらの微分が、特に不確実性伝播に関連して計算的意味を持つかどうかを調査すること。
• 微分線形論理と機械学習における勾配降下法との間の形式的関係を確立すること。
• 証明の微分が、条件付き独立性仮定下でのナイーブ確率の変化率を計算することを示すこと。
• 構造的差異があるにもかかわらず、同じ計算的動作を表す異なる符号化（例：boolstep と relstep）から同一の不確実性伝播が生じることを示すこと。

提案手法

• コフリーコalgebraを介して線形論理の証明をベクトル空間に解釈するスウィーデラーセマンティクスを用いる。
• Ehrhard-Regnier微分の計算法を、特にチューリング機械を符号化する証明に適用する。
• 「ナイーブ確率」を、確率分布を表す群的要素に証明を適用した結果としての意味解釈として定義する。
• テープと状態の分布を用いて不確実性伝播をモデル化し、意味解釈が分布空間上の線形写像にマッピングされることを示す。
• 微分計算におけるテープ移動および領域固有の伝播をモデル化するためのパッチ関数とフィル関数を構築する。
• 微分写像と射影を含む図式の可換性を証明し、異なる符号化（例：boolstep と relstep）間で一貫性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 線形論理および微分的意味論の文脈において、アルゴリズムの微分は何かを計算しているのか？
• RQ2 チューリング機械符号化の微分は、確率的設定においてどのように変化率として解釈できるか？
• RQ3 構造的に異なる同一の計算的動作の符号化（例：boolstep 対 relstep）は、同一の不確実性伝播をもたらすのか？
• RQ4 線形論理における証明の微分を用いて、アルゴリズム合成における勾配降下法を実装できるか？
• RQ5 この枠組みにおいて、ナイーブ確率を定義する際に条件付き独立性仮定が果たす役割は何か？

主な発見

• スウィーデラーセマンティクス下で、線形論理における証明の微分は、ナイーブ確率の変化率を計算する。
• ナイーブ確率は、入力の不確実性と条件付き独立性仮定を前提とした出力に関するベイズ的信念度として定義される。
• チューリング機械符号化の微分は、誤差逆伝搬法における勾配に類似した、入力分布の変化に対する感度を計算する。
• 同じ不確実性伝播が、異なる符号化（例：boolstep と relstep）によっても達成され、微分枠組みにおける可換図式によって示された。
• 適切な次元制約下で、boolstep符号化におけるステップ関数の微分は、relstep符号化における微分と一致する。
• この理論は、微分を方向的更新として解釈することにより、ナイーブ確率出力の誤差を最小化するチューリング機械の勾配降下的合成を支援する。