[論文レビュー] Bayesian Deconditional Kernel Mean Embeddings

Kelvin Hsu, Fábio Ramos|arXiv (Cornell University)|May 24, 2019

Gaussian Processes and Bayesian Inference被引用数 3

ひとこと要約

本稿では、観測された条件付き平均埋め込みから元の関数を回復する逆問題に対する非パrametricなベイズ的解決策として、ベイズ的非条件付けカーネル平均埋め込みを導入する。この手法をタスク変換されたガウス過程の事後予測平均として定式化することにより、一貫性のあるベイズ的解釈、不確実性の定量的評価、およびカーネルハイパーパramータ学習のための周辺尤度を提供し、尤度なし推論やスパースモデリングへの応用を可能にする。

ABSTRACT

Conditional kernel mean embeddings form an attractive nonparametric framework for representing conditional means of functions, describing the observation processes for many complex models. However, the recovery of the original underlying function of interest whose conditional mean was observed is a challenging inference task. We formalize deconditional kernel mean embeddings as a solution to this inverse problem, and show that it can be naturally viewed as a nonparametric Bayes' rule. Critically, we introduce the notion of task transformed Gaussian processes and establish deconditional kernel means as their posterior predictive mean. This connection provides Bayesian interpretations and uncertainty estimates for deconditional kernel mean embeddings, explains their regularization hyperparameters, and reveals a marginal likelihood for kernel hyperparameter learning. These revelations further enable practical applications such as likelihood-free inference and learning sparse representations for big data.

研究の動機と目的

• 非パラメトリックモデルにおける、観測された条件付き平均埋め込みから元の関数を回復する逆問題に対処すること。
• 事後予測分布の観点から、非条件付けカーネル平均埋め込みのベイズ的解釈を提供すること。
• 周辺尤度を用いた不確実性推定とカーネルハイパーパramータ学習のための一貫したフレームワークを確立すること。
• 尤度なし推論や大規模データ環境下でのスパース表現学習といった実用的応用を可能にすること。

提案手法

• タスク変換されたガウス過程の事後予測平均として、非条件付けカーネル平均埋め込みを形式化すること。
• 条件付き平均から元の関数への逆写像をモデル化するためのタスク変換ガウス過程の概念を導入すること。
• 非条件付け埋め込みをベイズ的予測とみなすことにより、カーネルハイパーパramータ学習のための周辺尤度を導出すること。
• ガウス過程との関連を活用して、非条件付け埋め込みフレームワークに不確実性推定を自然に組み込むこと。
• 事後予測分布を用いて、明示的な尤度の評価なしに推論を実行することにより、尤度なし推論を可能にすること。
• スパース近似技術を活用して、コンactな表現を学習することで、大規模データセットへのスケーリングを実現すること。

実験結果

リサーチクエスチョン

• RQ1 非条件付けカーネル平均埋め込みは、どのようにベイズ的枠組み内で解釈できるか？
• RQ2 ベイズ的観点から見た場合、非条件付けカーネル平均埋め込みにおける正則化ハイパーパramータの役割は何か？
• RQ3 この非パラメトリックな設定において、カーネルハイパーパramータ学習のための周辺尤度を導出できるか？
• RQ4 条件付き平均埋め込みから元の関数を回復する際の不確実性は、どのように定量的評価できるか？
• RQ5 このフレームワークは、大規模データ応用における尤度なし推論およびスパースモデリングをどの程度サポートできるか？

主な発見

• 非条件付けカーネル平均埋め込みは、タスク変換ガウス過程の事後予測平均と正式に等価であり、ベイズ的基盤を提供する。
• この手法は、元のガウス過程モデルの予測分散を通じて、自然に不確実性推定を組み込む。
• 非条件付け埋め込みにおける正則化ハイパーパramータは、タスク変換ガウス過程における事前分布のハイパーパramータとして解釈できる。
• 周辺尤度が導出され、経験的ベイズによる一貫したカーネルハイパーパramータ学習が可能になる。
• 尤度の明示的評価なしに事後予測を可能にするため、フレームワークは尤度なし推論をサポートする。
• 構造的近似を用いることで、スパース表現学習が可能となり、大規模データセットへのスケーラビリティが達成される。