[論文レビュー] Kernel Bayesian Inference with Posterior Regularization

Yang Song, Jun Zhu+1 more|arXiv (Cornell University)|Jul 7, 2016

Target Tracking and Data Fusion in Sensor Networks参考文献 16被引用数 5

ひとこと要約

本論文は、カーネル埋め込みを介して分布レベルで直接後方正則化を可能にする、新しいベクトル値回帰フレームワークを導入する。これはカーネルベイジアン推論を最適化問題として定式化することで、推定子の理論的一貫性を確立し、二乗正則化を上回るか同等の性能を示す、より高速で効果的な正則化手法を提案する。非線形状態空間フィルタリングタスクでの実験により有効性が検証された。

ABSTRACT

We propose a vector-valued regression problem whose solution is equivalent to the reproducing kernel Hilbert space (RKHS) embedding of the Bayesian posterior distribution. This equivalence provides a new understanding of kernel Bayesian inference. Moreover, the optimization problem induces a new regularization for the posterior embedding estimator, which is faster and has comparable performance to the squared regularization in kernel Bayes' rule. This regularization coincides with a former thresholding approach used in kernel POMDPs whose consistency remains to be established. Our theoretical work solves this open problem and provides consistency analysis in regression settings. Based on our optimizational formulation, we propose a flexible Bayesian posterior regularization framework which for the first time enables us to put regularization at the distribution level. We apply this method to nonparametric state-space filtering tasks with extremely nonlinear dynamics and show performance gains over all other baselines.

研究の動機と目的

• カーネルベイジアン推論を最適化に基づく解釈に再定式化し、後方分布埋め込みをベクトル値回帰問題として扱う。
• カーネルPOMDPsで用いられるしきい値ベースの後方正則化手法の、一般条件下での一貫性に関する未解決問題を解決する。
• 計算的に効率的で実験的に有効な、カーネル後方埋め込みのための新しい正則化技術を開発する。
• モーメントや線形関数型に依存せずに、分布レベルでの正則化を可能にする。
• 非パラメトリックな状態空間フィルタリングにおいて、顕著に非線形な力学を示す状況で本手法の優位性を示す。

提案手法

• 後方分布埋め込みは、再生核ヒルベルト空間（RKHS）におけるベクトル値回帰問題の解として導出される。
• 従来の二乗正則化に代わる新しい正則化項を導入し、計算速度を向上させつつも精度を維持する。
• 演算子ノルムと経験プロセスの確率的バウンドを用いた一般化誤差の分析により、理論的一貫性を証明する。
• kRegBayesと名付けられたこのフレームワークは、確率測度のRKHS構造を活用することで、後方分布埋め込みの直接的正則化を可能にする。
• パラメトリックな仮定を避けており、有効なカーネルが定義されれば、文字列、グラフなど任意の入力タイプに対応可能である。
• 理論的分析は、スペクトル分解と集中不等式に基づき、経験的推定子と真の後方埋め込みとの乖離を制限する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベイジアン推論を、理論的保証を伴う正則化付きのベクトル値回帰問題として再解釈できるか？
• RQ2 カーネルPOMDPsで用いられるしきい値ベースの後方正則化手法は、一般条件下で一貫性を示すか？
• RQ3 二乗正則化よりも高速で精度を保持する、後方埋め込みのための新しい正則化スキームを設計できるか？
• RQ4 モーメントや線形関数型に依存せずに、分布レベルでの後方正則化を適用できるか？
• RQ5 提案されたkRegBayesフレームワークは、非線形で非パラメトリックなフィルタリングタスクで既存のベースラインを上回る性能を示すか？

主な発見

• 提案されたベクトル値回帰定式化は、弱い仮定のもとで後方分布埋め込みの推定子として一貫性を示し、正則化パラメータλ → 0の下で確率的収束を達成する。
• 新しい正則化手法は、実用的に著しく高速でありながら、二乗正則化と同等または優れた性能を達成する。
• カーネルPOMDPsにおけるしきい値ベース手法の一貫性が、本研究で初めて形式的に確立され、文脈文献における未解決問題が解決された。
• kRegBayesフレームワークは、モーメントに基づく制約に依存しない、カーネルベイジアン推論における初の分布レベル後方正則化を可能にする。
• 実験的結果は、顕著に非線形な力学を示す複雑な合成フィルタリングタスクにおいて、すべてのベースラインを上回る性能向上を示している。
• 本手法は非パラメトリックかつ汎用的であり、有効なカーネルが定義されれば、文字列、順列、グラフなど多様なデータタイプに適用可能である。