[論文レビュー] Gaussian Process Regression with a Student-t Likelihood

Pasi Jylänki, Jarno Vanhatalo+1 more|arXiv (Cornell University)|Jun 22, 2011

Gaussian Processes and Bayesian Inference参考文献 24被引用数 14

ひとこと要約

本論文では、外れ値を扱えるように学生t分布の尤度を用いたガウス過程回帰のロバストで効率的な実装を提示する。非対数凸型のモデルで一般的に見られる収束問題を克服するため、並列更新と適応的ステップサイズを用いた改良型期待値最大化（EP）アルゴリズムを採用している。この手法は、ラプラス近似、変分ベイズ、MCMC近似と比較して、特に多峰性を持つ事後分布の状況下で優れた予測性能を達成する。

ABSTRACT

This paper considers the robust and efficient implementation of Gaussian process regression with a Student-t observation model. The challenge with the Student-t model is the analytically intractable inference which is why several approximative methods have been proposed. The expectation propagation (EP) has been found to be a very accurate method in many empirical studies but the convergence of the EP is known to be problematic with models containing non-log-concave site functions such as the Student-t distribution. In this paper we illustrate the situations where the standard EP fails to converge and review different modifications and alternative algorithms for improving the convergence. We demonstrate that convergence problems may occur during the type-II maximum a posteriori (MAP) estimation of the hyperparameters and show that the standard EP may not converge in the MAP values in some difficult cases. We present a robust implementation which relies primarily on parallel EP updates and utilizes a moment-matching-based double-loop algorithm with adaptively selected step size in difficult cases. The predictive performance of the EP is compared to the Laplace, variational Bayes, and Markov chain Monte Carlo approximations.

研究の動機と目的

• 学生t尤度をガウス過程回帰に適用する際、非対数凸型であるため発生する期待値最大化（EP）の収束問題を解決すること。
• 特に、矛盾する外れ値や多峰性を持つ事後分布を含む状況においても、ロバストでスケーラブルかつ信頼性の高いEP実装を構築すること。
• 困難な回帰状況における、提案手法のEPと既存の近似手法（ラプラス法、変分ベイズ、MCMC）との間の予測性能を比較すること。
• 安定した推論を実現するための実用的ガイドラインとアルゴリズム的改善策（ダミング、分数更新、二重ループ反復）を提供すること。

提案手法

• 学生t分布のスケールミックス表現を用いて、ガウス過程回帰における近似ベイズ推論を可能にする。
• 収束性を向上させるために、適応的ステップサイズ選択とモーメントマッチングに基づく二重ループ更新を用いた並列EPアルゴリズムを実装する。
• ハイパーパrameter最適化にはタイプ-II最大事後確率（MAP）推定を採用し、最適化中におけるEP更新の収束不良に対しても注意深く対処する。
• 標準EPが収束しない場合、特に多峰性を持つ事後分布領域においても、ダミングと分数更新をフォールバック戦略として組み込む。
• キャビティ分布解析を用いて、信頼性の低い近似を検出する仕組みを導入し、モデルの不適合や高い不確実性を示唆する。
• 実装は、再現性と利用可能性を確保するため、公開用のGPstuffソフトウェアパッケージに統合されている。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程回帰に学生t尤度を適用した場合、標準EPアルゴリズムがどの条件下で収束しなくなるのか。
• RQ2 重ね尾を持つ学生t分布に起因する非対数凸型のサイト関数を伴う状況において、EPの収束性をどのように改善できるか。
• RQ3 改良型EP手法の予測性能は、ラプラス法、変分ベイズ法、MCMC近似と比較してどのように異なるか。
• RQ4 学生t分布の自由度νの選択が、モデルのロバスト性と推論の安定性にどのように影響するか。
• RQ5 提案されたEP実装は、多峰性を持つ事後分布や高い不確実性領域といった問題のある推論状況を信頼性を持って検出できるか。

主な発見

• 標準EPアルゴリズムは、特に外れ値が互いに離れている場合、学生t尤度を用いたガウス過程回帰のタイプ-II MAP推定において頻繁に収束しない。
• 並列更新、適応的ステップサイズ、二重ループ反復を組み合わせた提案手法は、多峰性を持つ事後分布を含むすべてのテストケースで収束を達成した。
• 改良型EP手法は、特に矛盾する外れ値を含む状況下で、ラプラス法や変分ベイズ法の近似を上回る予測性能を示した。
• 本手法は、ラプラス法や変分ベイズ法が示す誤った確信度を避ける信頼性の高い不確実性推定を提供し、キャビティ分布解析により潜在的なモデル不適合や高不確実性を示唆する。
• ν = 4を固定することで安定したベースラインモデルが得られ、グリッドベースのν推定によりロバスト性が向上し、提案されたEPフレームワークを用いることで一貫して推定可能である。
• ダミング、分数更新、二重ループ反復といったアルゴリズム的改善策は、他の非対数凸型尤度を有するガウス過程モデルに対しても一般化可能で効果的である。