[論文レビュー] Category Theory in Machine Learning

Dan Shiebler, Bruno Gavranović+1 more|arXiv (Cornell University)|Jun 13, 2021

Advanced Graph Neural Networks参考文献 75被引用数 8

ひとこと要約

本調査は、機械学習における圏論の応用を統合的にまとめ、偏微分に基づく学習、確率的モデル、不変／同変学習の観点を、デカルト微分圏、マルコフ圏、自然変換といった圏的枠組みを通じて統一的に扱う。圏論がバックプロパゲーション、ベイズ推論、幾何的ディープラーニングの理解における構成的基盤を提供する仕組みを示し、最適化、確率的推論、対称性を考慮したニューラルネットワークの形式的定式化という重要な結果をもたらす。

ABSTRACT

Over the past two decades machine learning has permeated almost every realm of technology. At the same time, many researchers have begun using category theory as a unifying language, facilitating communication between different scientific disciplines. It is therefore unsurprising that there is a burgeoning interest in applying category theory to machine learning. We aim to document the motivations, goals and common themes across these applications. We touch on gradient-based learning, probability, and equivariant learning.

研究の動機と目的

• 機械学習における圏論の利用が急速に拡大する中で、その統一的言語としての役割を体系的に要約・整理すること。
• 勾配ベースの学習、確率的手法、不変／同変学習の各分野において共通するテーマと基盤的構造を特定すること。
• 特に自動微分と確率的推論において、圏論が複雑な機械学習システムにおける構成的推論を可能にすることを強調すること。
• 機械学習理論における断片化を是正し、多様な分野を統合的に理解するための合成的・圏的枠組みを提供すること。
• 最適化、確率、不変性の圏的視点の統合といった未解決の課題を特定し、学習理論の今後の方向性を示唆すること。

提案手法

• デカルト微分圏を用いて、ニューラルネットワークにおける自動微分とバックプロパゲーションを形式化する。
• 逆微分圏を用いて、圏的設定下での勾配計算をモデル化し、バックプロパゲーションに対する原理的取り扱いを可能にする。
• 光学とリッズを用いて、パラメータ更新と学習プロセスを双方向変換としてモデル化する。
• マルコフ圏を用いて、確率的モデル、条件付き確率、ベイズ更新を圏的枠組みで形式化する。
• データドメイン（グラフや多様体など）の対称性を保存する関手間の自然変換として、同変ニューラルネットワークを表現する。
• グラフ同型写像と可換する自然変換を用いて、一般化されたグローバル自然グラフネットワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 圏論は、深層学習における自動微分と勾配ベースの学習に対して、どのように統一的で構成的な基盤を提供できるか？
• RQ2 マルコフ圏は、圏的設定下で確率的推論、条件付き独立性、ベイズ更新をどのように形式化できるか？
• RQ3 自然変換と関手を用いて、グラフ や多様体のようなデータドメインの対称性に関して不変または同変となるニューラルネットワークをどのように構築できるか？
• RQ4 勾配降下法 や ベイズ更新 といった古典的機械学習アルゴリズムの圏的一般化は何か？ そしてそれらは普遍的性質とどのように関係するか？
• RQ5 圏論における カンの拡張 や普遍的構成は、最適解のより深い基礎的理解をどのように可能にするか？

主な発見

• デカルト微分圏は、自動微分を一貫した公理的枠組みとして提供し、バックプロパゲーションの洗練された圏的取り扱いを可能にする。
• 逆微分圏は、バックプロパゲーションアルゴリズムを一般化・抽象化する形で勾配の計算を形式化する。
• 光学とリッズは、パラメータ更新と学習を双方向変換としてモデル化し、モデルの訓練と適応に関する圏的視点を提供する。
• マルコフ圏は、条件付き確率、周辺化、独立性を形式化し、確率的モデリングとベイズ推論のための圏的基盤を提供する。
• 自然グラフネットワークは、グラフごとに異なる変換を許容しつつも対称性を保存する関手間の自然変換として定義され、同変グラフネットワークを一般化する。
• 多様体上でのゲージ同変畳み込みニューラルネットワーク（例：イコスハエドロン上）は、内在的な幾何的対称性を尊重することで、球面信号学習において最先端の性能を達成する。