[論文レビュー] Bayesian machine learning via category theory

Jared Culbertson, Kirk Sturtz|arXiv (Cornell University)|Dec 5, 2013

Bayesian Modeling and Causal Inference参考文献 8被引用数 14

ひとこと要約

本稿は、GiryモノイドのKleisli圏の変種たる条件付き確率の圏（𝒫）を用いて、関数空間上のパラメトリックおよびノンパラメトリックベイズ推論を統合的かつ対称的モノイダルで弱く閉じた構造としてモデル化する、圏論的枠組みを導入する。主な貢献は、圏論的手法による推論写像の解析的構成であり、カルマンフィルタはこの形式主義における隠れマルコフモデルの代表的例として示される。

ABSTRACT

From the Bayesian perspective, the category of conditional probabilities (a variant of the Kleisli category of the Giry monad, whose objects are measurable spaces and arrows are Markov kernels) gives a nice framework for conceptualization and analysis of many aspects of machine learning. Using categorical methods, we construct models for parametric and nonparametric Bayesian reasoning on function spaces, thus providing a basis for the supervised learning problem. In particular, stochastic processes are arrows to these function spaces which serve as prior probabilities. The resulting inference maps can often be analytically constructed in this symmetric monoidal weakly closed category. We also show how to view general stochastic processes using functor categories and demonstrate the Kalman filter as an archetype for the hidden Markov model.

研究の動機と目的

• パラメトリックおよびノンパラメトリックベイズモデルを、パrameter空間から関数空間への可測写像を用いて、一つの圏的枠組みに統一すること。
• 教師あり学習問題における推論写像を解析的に構成するための、対称的モノイダルで弱く閉じた圏を提供すること。
• ガウス過程や隠れマルコフモデルを含む確率過程が、この圏におけるファンクターとしてどのように形式化できるかを示すこと。
• カルマンフィルタが、この圏的設定における推論の代表的例として自然に導かれる仕組みを示すこと。
• 決定理論をベイズ的推論に統合する基盤を築くために、決定ルールの圏への拡張を図ること。

提案手法

• 対象が可測空間で、射がマルコフ核である条件付き確率の圏𝒫において、ベイズ的学習を推論としてモデル化すること。
• 𝒫におけるテンソル積構造を用いて、同時分布と条件付き分布を表現し、複雑なシステムの合成的モデル化を可能にする。
• 関数空間を𝒫の対象として表現し、確率過程をこれらの空間への矢印として表現する。ガウス過程は、連合正規分布によって定義される。
• 押し出し測度と条件付き期待値を用いて推論写像を構成し、𝒫の弱く閉じた構造を活用する。
• 時間の領域圏としてのファンクター圏を用いて、マルコフ過程や隠れマルコフモデルを形式化する。
• 押し出しやディラック測度を含む圏的積分技法を用いて、期待値や条件付き確率を計算する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックおよびノンパラメトリックベイズモデルを、一貫した圏的枠組みに統合する方法は何か？
• RQ2 圏的テンソル積と弱く閉じた構造を用いて、ベイズ的関数推定における推論写像を解析的に構成できるか？
• RQ3 カルマンフィルタやガウス過程といった標準的モデルが、この圏的形式主義から自然にどのように導かれるか？
• RQ4 ファンクター圏は、隠れマルコフモデルのような時間発展する確率過程をモデル化する上で果たす役割は何か？
• RQ5 決定的要素を、圏的設定におけるベイズ的推論に統合するにはどうすればよいか？

主な発見

• 条件付き確率の圏𝒫は、対称的モノイダルで弱く閉じた圏を形成し、パラメトリックおよびノンパラメトリックモデルの両方における推論写像の解析的構成を可能にする。
• ガウス過程は、連合正規分布を持つ確率過程として自然にモデル化され、圏的積分および押し出し操作を用いてその推論が導出可能である。
• カルマンフィルタは、この枠組み内における隠れマルコフモデルの推論の代表的例として示され、条件付き確率の圏的構造から自然に生じる。
• ノイズのない測定とノイズのある測定の両方における推論写像が、押し出し測度と条件付き期待値を用いて明示的に構成され、解析的扱いの可能性が示された。
• 有限次元のパrameter空間ℝᵖを関数空間Yˣへ埋め込む可測写像i:ℝᵖ→Yˣを通じて、パラメトリックモデルとノンパラメトリックモデルの間に深い双対性が明らかになった。
• 同一の条件付き分布P̄=Q̄をもたらす非一意な測度PとQの存在は、弱く閉じた構造が存在性は満たすが一意性は満たさないことを示し、それが強い閉じた圏ではなく弱い閉じた圏であることを確認した。