[論文レビュー] Understanding Probabilistic Sparse Gaussian Process Approximations

Matthias Bauer, Mark van der Wilk+1 more|arXiv (Cornell University)|Jun 15, 2016

Gaussian Processes and Bayesian Inference参考文献 18被引用数 65

ひとこと要約

この論文は、2つの一般的なスパースガウス過程近似手法であるFITCとVFEの、包括的な理論的・実験的比較を提供しており、VFEが周辺尤度の真の下界を提供し、より信頼性が高く、FITCはバイアスのある目的関数、信頼性の低いノイズ分散推定、および劣悪な最適化挙動を示すことが明らかになった。VFEは最適化が難しいが、適切に初期化された場合、一貫して優れた解を特定する。

ABSTRACT

Good sparse approximations are essential for practical inference in Gaussian Processes as the computational cost of exact methods is prohibitive for large datasets. The Fully Independent Training Conditional (FITC) and the Variational Free Energy (VFE) approximations are two recent popular methods. Despite superficial similarities, these approximations have surprisingly different theoretical properties and behave differently in practice. We thoroughly investigate the two methods for regression both analytically and through illustrative examples, and draw conclusions to guide practical application.

研究の動機と目的

• FITCとVFE、2つの広く使われているスパースガウス過程近似の理論的・実用的挙動を理解し、対比すること。
• FITCが人気にもかかわらず実際にはしばしば失敗する理由、特にハイパーパrameter学習やノイズ分散推定において、その原因を調査すること。
• VFEの報告された不足（underfitting）が目的関数の問題にあるのか、それとも最適化の困難さに起因するのかを評価すること。
• それぞれの手法の特徴的な最適化の地形と理論的性質に基づき、効果的に使用する際の実用的ガイドラインを提供すること。

提案手法

• FITCとVFEを統一的な表記で比較し、両者とも全GP事後分布を近似するためにM個の誘導入力（inducing inputs）に依存している。
• FITCとVFEの目的関数を分析し、VFEが周辺尤度の真の下界を提供するのに対し、FITCはそうではないことを示した。
• 解析的導出と1次元および高次元回帰例（例：pumadyn32nm）を用いて、モデルの挙動を比較した。
• 負の対数周辺尤度（NLML）、テストRMSE、および学習されたハイパーパrameter（例：長さスケール、ノイズ分散）などの指標を用いて最適化性能を評価した。
• VFEの収束を改善するために、ランダムリスタート、k-means初期化、FITC解からの初期化などの最適化手法を適用した。
• 個々の長さスケールをもつ平方指数ARDカーネルを用い、高次元設定における特徴の重要性とモデルの表現力の評価を行った。

実験結果

リサーチクエスチョン

• RQ1 FITCとVFEの理論的性質は、特に目的関数と周辺尤度の下界に関して、どのように異なるか？
• RQ2 FITCはなぜ頻繁にノイズ分散σ²ₙを低く推定し、周辺尤度を過大評価するのか？その結果、モデル適合にどのような影響を与えるか？
• RQ3 VFEの報告された不足（underfitting）は、目的関数の問題によるものか、それとも最適化の困難さに起因するのか、その程度はいかほどか？
• RQ4 高次元データセットにおいて、誘導入力とハイパーパrameterを同時に最適化する場合、2つの手法はどのように挙動するか？
• RQ5 VFEの性能は、より良い初期化によって向上させられるか？解の質の観点から、FITCと比較してどうなるか？

主な発見

• VFEは周辺尤度の真の下界を提供するが、FITCの目的関数はそうではなく、これにより推論にバイアスが生じ、モデル選択が信頼性を欠く。
• FITCはノイズ分散σ²ₙを頻繁に低く推定し、特に高次元または低密度のデータ領域では、ほぼゼロに近づくことがある。
• 32次元、7168件の学習データをもつpumadyn32nmデータセットにおいて、VFEはハイパーパramータと誘導入力を同時に最適化した場合、関連する長さスケールを特定できず、RMSEが0.979にまで上昇したのに対し、GPのRMSEは0.209であった。
• FITC解からの初期化を施した場合、VFEはRMSE 0.212の良好な適合を達成し、4つの重要な長さスケールを正しく特定した。これは、問題が目的関数ではなく最適化に起因することを示している。
• VFEは誘導点を増やすことで一貫して改善され、可能な限り真の事後分布を回復するが、FITCは局所最適解に強く依存し、モデル表現力の一部を無駄にすることがある。
• 理論的利点があるにもかかわらず、VFEは局所最適解に陥りやすく、FITC解やk-meansクラスタリングを用いた適切な初期化が、良好な性能を得るためには不可欠である。