[論文レビュー] Student-t Processes as Alternatives to Gaussian Processes

Amar Shah, Andrew Gordon Wilson+1 more|arXiv (Cornell University)|Feb 18, 2014

Gaussian Processes and Bayesian Inference参考文献 12被引用数 100

ひとこと要約

本稿では、ガウス過程（GPs）の柔軟な代替手法として、学生のt過程（TPs）を提案する。TPsは、ガウス過程のカーネルに逆ウィシャート過程の事前分布を導入し、それを解析的に周辺化することで導出される。TPは解析的周辺分布および予測分布を保持しており、カーネルに基づく柔軟性を有する非パrametricモデリングが可能であり、特筆すべきは、予測共分散が訓練データの値に依存する点である。これは、ガウス過程と比較してベイズ最適化や回帰におけるロバストネスを向上させ、計算コストの増加なしに実現可能である。

ABSTRACT

We investigate the Student-t process as an alternative to the Gaussian process as a nonparametric prior over functions. We derive closed form expressions for the marginal likelihood and predictive distribution of a Student-t process, by integrating away an inverse Wishart process prior over the covariance kernel of a Gaussian process model. We show surprising equivalences between different hierarchical Gaussian process models leading to Student-t processes, and derive a new sampling scheme for the inverse Wishart process, which helps elucidate these equivalences. Overall, we show that a Student-t process can retain the attractive properties of a Gaussian process -- a nonparametric representation, analytic marginal and predictive distributions, and easy model selection through covariance kernels -- but has enhanced flexibility, and predictive covariances that, unlike a Gaussian process, explicitly depend on the values of training observations. We verify empirically that a Student-t process is especially useful in situations where there are changes in covariance structure, or in applications like Bayesian optimization, where accurate predictive covariances are critical for good performance. These advantages come at no additional computational cost over Gaussian processes.

研究の動機と目的

• ガウス過程が共分散の不確実性やモデルの誤り指定、構造的変化に弱いという限界を是正すること。
• 階層的ガウス過程モデルへの応用を目的として、共分散行列に対する非パrametric事前分布としての逆ウィシャート過程の形式化。
• 閉形式の周辺分布および予測分布を有する学生のt過程を導出することで、回帰および最適化における実用的利用を可能とすること。
• 予測共分散が訓練観測値に依存することを示し、ガウス過程とは異なり、不確実性のモデリングおよび尾部依存性の向上に寄与すること。
• 学生のt過程がガウス過程と同等の計算コストで置き換え可能であり、特にベイズ最適化などの重要な応用分野で優れた性能を示すこと。

提案手法

• ガウス過程の共分散カーネルに逆ウィシャート過程の事前分布を導入し、それを解析的に周辺化することで学生のt過程を導出する。
• 任意のサイズの共分散行列に対する非パrametric事前分布として逆ウィシャート過程を用い、周辺化において一貫性を保証する。
• 周辺尤度および予測分布の閉形式表現を導出し、ハイパーパrameter最適化に用いる解析的導関数も含む。
• 階層的ガウス過程モデルにおける同等性を明確にするために、逆ウィシャート過程の新たなサンプリングスキームを提案し、解釈性を向上させる。
• スライスサンプリングを用いてハイパーパrameterを周辺化することで、ベイズ最適化におけるマージナル化された期待改善の獲得関数を実装する。
• 同一のカーネルおよびハイパーパramータ推定手法を用いて、合成関数およびベンチマーク関数においてTPとGPの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 学生のt過程は、解析的に取り扱える周辺分布および条件付き分布を有するガウス過程の階層的一般化として導出可能か？
• RQ2 学生のt過程の予測共分散は、ガウス過程とはどのように異なり、特に訓練データ値に依存する点でどのような違いを示すか？
• RQ3 逆ウィシャート過程が学生のt過程の構築において、共分散行列に対する非パrametric事前分布として果たす役割は何か？
• RQ4 学生のt過程がガウス過程を上回るシナリオ、特に構造的変化を伴うベイズ最適化および回帰においてはどのような状況か？
• RQ5 学生のt過程は、追加の計算コストなしにガウス過程の即時置換として使用可能か？

主な発見

• 学生のt過程は、解析的に取り扱える周辺分布および予測分布を有する、最も一般化された楕円対称分布であり、ガウス過程を拡張するものである。
• 学生のt過程では、予測共分散が訓練観測値の値に明示的に依存するが、ガウス過程とは異なり、不確実性のモデリングおよび尾部依存性の向上に寄与する。
• ベイズ最適化において、学生のt過程はガウス過程を上回り、1次元の正弦関数の最小値探索を平均して25%速く完了（8.1±0.4 vs. 10.7±0.6反復）。
• 2次元のBranin-Hoo関数および6次元のHartmann関数において、TPは局所的最小値の探索をより徹底的に行い、段階関数に似た挙動を示す一方、GPはより均一な改善を示す。
• 特に高次元設定において、モデルの誤り指定や共分散構造の変化に対して、学生のt過程はより高いロバストネスを示す。
• 学生のt過程は、信号とノイズを分離する解析的ノイズモデルを組み込むことができ、従来の手法とは異なり、非パラメトリックカーネル学習を追加コストなしにサポートする。