[論文レビュー] Conjugate Projective Limits

Peter Orbanz|arXiv (Cornell University)|Dec 2, 2010

Bayesian Methods and Mixture Models参考文献 33被引用数 6

ひとこと要約

この論文は、非パラメトリックベイズモデルの共役性構造を無限次元への一般化として特徴付けるための射影極限フレームワークを導入する。具体的には、有限次元の指数型分布族とその共役事前分布の射影極限として、非パラメトリック事後分布、十分統計量、および共役更新を表現することで、ディリクレ過程やガウス過程といったモデルを統一的な共役構造で理解する一般理論を確立する。

ABSTRACT

We characterize conjugate nonparametric Bayesian models as projective limits of conjugate, finite-dimensional Bayesian models. In particular, we identify a large class of nonparametric models representable as infinite-dimensional analogues of exponential family distributions and their canonical conjugate priors. This class contains most models studied in the literature, including Dirichlet processes and Gaussian process regression models. To derive these results, we introduce a representation of infinite-dimensional Bayesian models by projective limits of regular conditional probabilities. We show under which conditions the nonparametric model itself, its sufficient statistics, and -- if they exist -- conjugate updates of the posterior are projective limits of their respective finite-dimensional counterparts. We illustrate our results both by application to existing nonparametric models and by construction of a model on infinite permutations.

研究の動機と目的

• 無限次元における指数型分布族とその関連する共役事前分布との間の構造的関係を形式化すること。
• 条件付き確率と有限次元マージナルの射影極限を用いた非パラメトリックベイズモデルの一般的表現を構築すること。
• 十分統計量および非パラメトリックモデルにおける事後更新が、それらの有限次元類似物の射影極限として成立するための条件を確立すること。
• ディリクレ過程、ガウス過程、ベータ/ガンマ過程といった基本的モデルを、共通の理論的枠組みで統一すること。
• 射影極限およびプルバック構成を用いて、無限大の置換上での新しい非パラメトリックモデルの構築を可能にすること。

提案手法

• コルモゴロフの拡張定理および一般化された射影極限構成を用いて、非パラメトリックベイズモデルを有限次元の条件付き確率分布の射影極限として表現する。
• 射影極限だけでは捉えきれない、ほとんど確実なパス性質（例：連続性、σ-加法性）を符号化するためのプルバック機構を導入する。
• このフレームワークを適用し、非パラメトリックモデルにおける十分統計量および事後更新が、それらの有限次元類似物の射影極限として成立することを示す。
• 指数型分布族およびその共役事前分布の構造を用いて、非パラメトリック設定への指数型分布族の一般化としての無限次元モデルのクラスを定義する。
• ボレル埋め込み、積空間写像（例：ψ_nを介して）、およびテイルσ-代数の性質を用いた測度論的道具を用いて、射影族の正当性を検証する。
• 対称群モデルの射影極限と仮想置換を用いて、無限大の置換上での非パラメトリックモデルを構成する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックベイズモデルが、有限次元の共役モデルの射影極限として表現可能となる条件は何か？
• RQ2 非パラメトリックモデルの十分統計量および事後更新が、それらの有限次元類似物の射影極限としてどのように特徴付けられるか？
• RQ3 指数型分布族およびその標準的共役事前分布の非パラメトリック版に対応する無限次元モデルのクラスは何か？
• RQ4 連続性やσ-加法性などのパス性質を、確率過程の射影極限表現にどのように組み込むことができるか？
• RQ5 この射影極限フレームワークを用いて、無限大の置換上での新しい非パラメトリックモデルを体系的に構築できるか？

主な発見

• ディリクレ過程やガウス過程を含む共役非パラメトリックベイズモデルが、有限次元の指数型分布族およびその共役事前分布の射影極限として示された。
• やや弱い正則性条件のもとで、非パラメトリックモデルにおける十分統計量および事後更新が、それらの有限次元類似物の射影極限として成立することが示された。
• 無限大の置換上でのモデルは、対称群モデルの射影極限として構成され、パス性質はプルバック構成により符号化された。
• ハイパーパrameterがℓ₁空間に属する場合かつその場合に限り、無限大の置換モデルの確率的実現は仮想置換の群にほとんど確実に属する。これはボレル＝カンテーリの補題を用いて検証された。
• 無限大の置換モデルの事後分布は、測度論的プルバックおよび積空間構造を用いて、射影族の条件付き分布として正当化された。
• このフレームワークは、適切なプルバックと組み合わせた射影極限を用いることで、既存の構成を超えて新しい非パラメトリックモデルを体系的に構築する一般的手法を提供する。