[論文レビュー] EigenGP: Gaussian Process Models with Adaptive Eigenfunctions

Hao Peng, Yuan Qi|arXiv (Cornell University)|Jan 2, 2014

Gaussian Processes and Bayesian Inference参考文献 23被引用数 6

ひとこと要約

EigenGPは、再現性のある核ヒルバート空間（RKHS）内で、データに適応する固有関数を基底関数として学習する、新しいスパースガウス過程モデルを提案する。このモデルは、周辺尤度の最大化により、事前精度とハイパーパrameterを同時に最適化する。計算線形代数を活用して勾配計算を簡略化することで、特に非ステーションナリティを持つデータにおいて、SSGP、RVM、Nyström手法よりも優れた予測精度と効率性を達成し、ベンチマークデータセットでは最大10倍の誤差低減を実現した。

ABSTRACT

Gaussian processes (GPs) provide a nonparametric representation of functions. However, classical GP inference suffers from high computational cost for big data. In this paper, we propose a new Bayesian approach, EigenGP, that learns both basis dictionary elements--eigenfunctions of a GP prior--and prior precisions in a sparse finite model. It is well known that, among all orthogonal basis functions, eigenfunctions can provide the most compact representation. Unlike other sparse Bayesian finite models where the basis function has a fixed form, our eigenfunctions live in a reproducing kernel Hilbert space as a finite linear combination of kernel functions. We learn the dictionary elements--eigenfunctions--and the prior precisions over these elements as well as all the other hyperparameters from data by maximizing the model marginal likelihood. We explore computational linear algebra to simplify the gradient computation significantly. Our experimental results demonstrate improved predictive performance of EigenGP over alternative sparse GP methods as well as relevance vector machine.

研究の動機と目的

• 大規模データセットにおける正確なガウス過程推論の高い計算コストに対処すること。
• 固定の基底関数の代わりにデータに依存する基底関数を学習することで、非ステーションナリティデータにおける予測性能を向上させること。
• 固有関数、事前精度、ハイパーパrameterを同時に最適化する計算効率の良いスパースGPモデルの開発。
• 有限モデルを無限形式に拡張することで、分布外の入力に対する予測分散が非ゼロとなるようにし、不確実性の評価を向上させること。
• 従来のRVMスタイルの手法とは異なり、計算線形代数を活用して周辺尤度最適化のための勾配計算を簡略化すること。

提案手法

• EigenGPは、各固有関数が再現性のある核ヒルバート空間（RKHS）内のカーネル関数の線形結合として表現される有限線形結合としてGPを表現する。
• モデルは周辺尤度の最大化により、固有関数の基底要素とそれに対応する事前精度を同時に学習し、データに適応する基底選択を可能にする。
• 最適化プロセスでは、カーネルの長尺度、基底点の位置、固有関数上の事前精度を含むハイパーパrameterを同時に推定する。
• 周辺尤度最適化のための勾配計算を簡略化するために、計算線形代数の技術が用いられ、効率的な学習が可能になる。
• 有限モデルを無限モデルに拡張するために、追加のカーネル項が導入され、分布外のテストポイントにおける不確実性推定が向上する。
• 本手法は、$O(NM)$のメモリと$O(NM^2)$の時間計算量を達成し、SSGPと同等の性能を示し、RVMよりも効率的である（$N$個の基底関数に比例するスケーリング）。

実験結果

リサーチクエスチョン

• RQ1 RKHS内でデータに適応する固有関数を学習することで、固定基底関数と比較してスパースGPモデルの予測精度が向上するか？
• RQ2 周辺尤度の最大化による固有関数、事前精度、ハイパーパrameterの共同最適化は、既存のスパースGP手法と比較してより良い一般化性能をもたらすか？
• RQ3 計算線形代数を活用することで、非共役スパースGPフレームワークにおける勾配計算が簡略化され、効率的な最適化が可能になるか？
• RQ4 固定基底関数（三角関数やRBFベース）が失敗する可能性がある非ステーションナリティデータにおいて、EigenGPはどのように性能を発揮するか？
• RQ5 有限EigenGPモデルを無限モデルに拡張することで、分布外入力の予測不確実性をよりよく捉えることができるか？

主な発見

• ボストン住宅データセットでは、EigenGPは2番目に優れた手法（SSGP）と比較して10倍の誤差低減を達成し、M=50の基底関数を用いてNMSEが0.0110 ± 0.0006を達成した。
• カリフォルニア住宅データセットでは、Mの値（25〜400）にかかわらず、EigenGPがすべての手法の中で最小のNMSEを達成し、他の手法と比較して著しく短い訓練時間を要した。
• EigenGPは平均して適切なカーネル幅η=0.07を学習したが、FITCは大きな幅207.75を学習し、基底点の選択が不適切なために性能が低下した。
• Nyström法でさえも周辺尤度による最適化が行われたが、EigenGPに比べて10^4以上のオーダーで性能が劣り、一部のデータセットではNMSEが10^4を超えた。
• RVMはNMSE 0.0111 ± 0.0004を達成したが、1回の実行に1.4秒を要した。一方、EigenGPはM=50で0.89秒で同程度の精度を達成し、より優れた効率性を示した。
• EigenGPの予測平均と標準偏差は、特に高周波数領域や非ステーションナリティ領域において、SSGPやFITCと比較して真の関数とよりよく一致した。