[論文レビュー] Improving the Gaussian Process Sparse Spectrum Approximation by Representing Uncertainty in Frequency Inputs

Yarin Gal, Richard E. Turner|arXiv (Cornell University)|Mar 9, 2015

Gaussian Processes and Bayesian Inference参考文献 26被引用数 29

ひとこと要約

この論文は、一般化を向上させ、過学習を回避するために周波数入力の不確実性をモデル化するスパーススペクトルガウス過程（GP）近似の変分推論手法を提案する。共分散関数の有限フーリエ級数近似を、変分後確率分布を持つ確率変数として扱うことで、標準的なスパーススペクトルまたは擬似入力GP近似よりも複雑な関数に対して優れた性能を達成し、確率的および分散型の変種によるスケーラブルな推論を実現する。

ABSTRACT

Standard sparse pseudo-input approximations to the Gaussian process (GP) cannot handle complex functions well. Sparse spectrum alternatives attempt to answer this but are known to over-fit. We suggest the use of variational inference for the sparse spectrum approximation to avoid both issues. We model the covariance function with a finite Fourier series approximation and treat it as a random variable. The random covariance function has a posterior, on which a variational distribution is placed. The variational distribution transforms the random covariance function to fit the data. We study the properties of our approximate inference, compare it to alternative ones, and extend it to the distributed and stochastic domains. Our approximation captures complex functions better than standard approaches and avoids over-fitting.

研究の動機と目的

• 周波数を直接最適化するスパーススペクトルGP近似で一般的に見られる過学習の問題に対処する。
• 周波数入力の不確実性を組み込むことで、グローバルに複雑な関数のモデリングを改善する。
• 変分推論を用いて大規模かつ分散型のデータに対するスケーラブルな推論フレームワークを開発する。
• 非 stationary で有限ランクの共分散近似を通じて、GP回帰における根拠ある不確実性評価を可能にする。
• モデルの複雑さが増す際、標準的なスパーススペクトルおよび擬似入力アプローチとは異なり、過学習を回避することを実証する。

提案手法

• モンテカルロ統合を用いて、有限フーリエ級数によるステーショナリGP共分散関数の近似を行う。
• 得られた有限フーリエ近似を、事後分布が解析的に求められない確率変数として扱う。
• 変分推論を適用してフーリエ係数の事後分布を近似し、データに適合するように共分散を変換する変分分布を導入する。
• フーリエ係数に事前分布を設定することで、モデルの正則化を行い、過学習を防ぐ。
• 分散型および確率的推論に適した要因分解可能な周辺尤度の下界を導出する。
• ミニバッチを用いた確率的変分推論を実装し、適応的最適化（例：RMSPROP）を用いて大規模データセットへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 スパーススペクトルGP近似における周波数の不確実性をモデル化することで、一般化性能の向上と過学習の低減が図れるか？
• RQ2 提案された変分推論フレームワークは、標準的なスパーススペクトルおよびスパース擬似入力GP近似と比較して、精度およびロバスト性においてどのように異なるか？
• RQ3 分散型および確率的推論を用いて効率的にスケーリング可能であり、予測性能を維持できるか？
• RQ4 誘導周波数の数が増加する際、特に高複雑度のシナリオにおいて、モデルは過学習を回避するか？
• RQ5 実世界の音声データにおいて、変分スパーススペクトルGPの性能は、フルGPおよびランダム射影手法と比較してどうなるか？

主な発見

• 提案されたVSSGP手法は、TIMIT音声データにおいて、sSPGP（RMSE 0.034、STFT誤差 0.43）およびベースラインのゼロ予測（STFT誤差 0.62）よりも低いテストセットRMSE（0.034）と、より良いSTFTベースの補完誤差（0.3）を達成した。
• fVSSGPおよびsfVSSGPは、VSSGPと同等のテスト精度（RMSE ~0.034）を達成しつつ、時間計算量を削減しており、周波数の最適化が性能を劣化させないことを示している。
• sfVSSGPはK=400で48分の訓練時間を達成し、sSPGP（133分）よりも顕著に高速であり、テスト誤差は同等または向上している。
• 誘導点数が400を超えて増加しても、過学習が見られず、安定したテスト誤差を維持するとともに、訓練誤差が改善された。
• 変分推論の時間計算量はO(NK²)、確率的バージョンではO(SK²)とスケーリングされ、大規模な推論に効率的である。
• 精度およびロバスト性の両面で、ベースライン手法を上回っており、特に音声信号のような複雑でグローバルに変化する関数において顕著である。