[論文レビュー] Kernel Bayes' rule

Kenji Fukumizu, Le Song+1 more|arXiv (Cornell University)|Sep 29, 2010

Gaussian Processes and Bayesian Inference参考文献 35被引用数 4

ひとこと要約

本稿では、再生核ヒルバート空間（RKHS）を用いた非パrametricなカーネルベースの手法を提案し、ベイズの定理を実装する。確率は経験的サンプルのRKHS平均として表現される。この手法により、明示的なパラメトリックモデルを必要とせず、尤度が不明または計算不能な状況下でもベイズ推論と非パラメトリックフィルタリングが可能となり、理論的な一貫性レートが保証され、ベイズ計算および状態空間モデル化への応用が示されている。

ABSTRACT

A nonparametric kernel-based method for realizing Bayes' rule is proposed, based on representations of probabilities in reproducing kernel Hilbert spaces. Probabilities are uniquely characterized by the mean of the canonical map to the RKHS. The prior and conditional probabilities are expressed in terms of RKHS functions of an empirical sample: no explicit parametric model is needed for these quantities. The posterior is likewise an RKHS mean of a weighted sample. The estimator for the expectation of a function of the posterior is derived, and rates of consistency are shown. Some representative applications of the kernel Bayes' rule are presented, including Baysian computation without likelihood and filtering with a nonparametric state-space model.

研究の動機と目的

• 事前分布、尤度関数、事後分布の明示的パラメトリックモデルを回避する非パラメトリックなベイズの定理の実装法を開発すること。
• 経験的サンプルを用いて再生核ヒルバート空間（RKHS）の要素として確率測度を表現すること。
• 尤度が計算不能または未知であるような複雑なモデル、例えばシミュレーションベース推論におけるベイズ推論を可能にすること。
• 関数の期待値に関する事後分布関数の推定器の理論的収束レートを提供すること。
• 尤度なしベイズ計算および非パラメトリック状態空間フィルタリングにおける実用的応用を示すこと。

提案手法

• 標準的特徴写像を用いて、経験的サンプルによる事前分布および条件付き確率をRKHS要素として表現する。
• 重みがカーネル化された尤度比から得られる重み付き経験的サンプルのRKHS平均として事後分布を表現する。
• カーネル平均埋め込みを用いて、パラメトリックな形を仮定せずに、すべての確率的量を非パラメトリックに表現する。
• 代表定理を活用して、関数の事後期待値の推定器を重み付きRKHS平均を用いて導出する。
• やや弱い正則性条件の下で推定器の一致性レートを確立し、真の事後期待値への収束を示す。
• 尤度の明示的計算を回避することで尤度なし推論に応用し、非パラメトリックな状態空間モデルを用いてフィルタリングに応用する。

実験結果

リサーチクエスチョン

• RQ1 事前分布、尤度関数、事後分布の明示的パラメトリックモデルなしにベイズの定理を実装できるか？
• RQ2 確率分布は、RKHSのような関数空間においてどのように非パラメトリックに表現され、操作できるか？
• RQ3 関数の期待値に関して、カーネルベースの事後分布推定器の理論的収束レートはどの程度達成可能か？
• RQ4 カーネルベイズの定理は、計算不能な尤度を持つモデルにおいても有効な推論を可能にするか？
• RQ5 状態空間モデルにおける非パラメトリックフィルタリングにおいて、パラメトリック仮定なしにこの手法をどのように応用できるか？

主な発見

• 本手法により、事前分布、尤度関数、事後分布の明示的パラメトリック形を必要としない非パラメトリックなベイズ推論が可能になる。
• 確率は経験的サンプルのRKHS平均として一意に表現され、ヒルバート空間フレームワーク内で関数的扱いが可能になる。
• 事後分布は、カーネル化された尤度比から得られる重み付きRKHS平均として推定され、尤度の明示的評価を回避する。
• やや弱い正則性条件の下で、事後期待値の推定器は理論的収束レートを達成し、真の事後期待値に収束することが保証される。
• 本手法は尤度なしベイズ計算を支援し、尤度が計算不能または未知である状況でも推論が可能になる。
• 非パラメトリックな状態空間フィルタリングへの応用は、パラメトリック仮定なしに動的かつ複雑なシステムにおいて本手法の有効性を示している。