[論文レビュー] Gaussian Process Random Fields

David A. Moore, Stuart Russell|arXiv (Cornell University)|Oct 31, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用数 10

ひとこと要約

本稿では、局所GPをペairワイズポテンシャルで結合することで滑らかさと精度を向上させる、完全なガウス過程周辺尤度の扱いやすい近似であるガウス過程ランダムフィールド（GPRF）を提案する。この手法により、大規模データセットにおけるスケーラブルで並列化可能な推論が可能となり、地震発生位置特定タスクにおいて、局所GPに比べ7%低い平均位置誤差を達成した。初期化に局所GPの結果を用いることでさらなる性能向上が得られた。

ABSTRACT

Gaussian processes have been successful in both supervised and unsupervised machine learning tasks, but their computational complexity has constrained practical applications. We introduce a new approximation for large-scale Gaussian processes, the Gaussian Process Random Field (GPRF), in which local GPs are coupled via pairwise potentials. The GPRF likelihood is a simple, tractable, and parallelizeable approximation to the full GP marginal likelihood, enabling latent variable modeling and hyperparameter selection on large datasets. We demonstrate its effectiveness on synthetic spatial data as well as a real-world application to seismic event location.

研究の動機と目的

• O(n³)の複雑さにより、大規模データセットにおける正確なガウス過程推論が計算的に非現実的であるという問題に対処する。
• 独立した局所GPが強い独立性仮定を採用しているため、一般化性能が低く不連続性を生じる可能性があるという問題を克服する。
• 空間相関をペアワイズ結合によって保ちつつ、完全なGP周辺尤度の扱いやすい、並列化可能な代替関数を構築する。
• 大規模なGP-LVM応用における潜在変数モデリングおよびハイパーパrameter最適化を有効に可能にする。
• ベイジアンコアミットーマシンを、GPRFフレームワークを介したGP推論の決定的近似としての新たな解釈を提供する。

提案手法

• 入力空間をデータポイントの互いに素なブロックに分割し、それぞれのブロック上で独立に訓練される局所GPを定義する。
• カーネル距離（1つの長さスケール以内）に基づいて隣接するブロック間のペアワイズポテンシャルを導入し、マークフ・ランダムフィールド構造を形成する。
• 局所GP周辺尤度とペアワイズ結合項を組み合わせたGPRF目的関数を構築し、完全なGP対数尤度を近似する。
• 最適化のための微分可能で扱いやすい逆共分散行列の決定的近似を用いることで、GPRF目的関数の扱いやすさを確保する。
• 勾配ベースの最適化手法を用いて、潜在変数（例：発生位置）とハイパーパrameter（例：長さスケール、ノイズ分散）を同時に最適化する。
• ブロック間での並列処理を活用し、大規模問題における収束を加速するために、局所GPの結果を初期値として用いる。

実験結果

リサーチクエスチョン

• RQ1 計算効率とモデリング精度の両立を図る、完全なGP周辺尤度の構造的近似を設計できるか？
• RQ2 ペアワイズポテンシャルによる局所GPの結合は、空間的および高次元データにおいて、独立した局所GPに比べ一般化性能をどのように向上させるか？
• RQ3 非木構造的パーティションにおいても、GPRF目的関数は真のGP尤度の良い近似として機能するか？
• RQ4 GPRFフレームワークは、地震発生位置特定のような実世界の大規模GP-LVM問題に効果的に適用可能か？
• RQ5 局所GPの結果からGPRFを初期化することで、実際の実行で収束が速くなり、性能が向上するか？

主な発見

• 107,556件の地震発生イベントを含む地震発生位置特定タスクにおいて、GPRFは最良の局所GPモデルに比べ7%低い平均位置誤差（12.8km vs 13.7km）を達成した。
• 局所GPの結果を初期値として用いるハイブリッド手法が、最終誤差12.2kmという最低水準を達成し、単独の局所GPやGPRFを上回った。
• GPRFフレームワークは並列性が高く、大規模データセットにおけるハイパーパrameter最適化および潜在変数推論をスケーラブルに可能にした。
• 1つのカーネル長さスケール以内のエッジ集合（局所エッジ集合）を用いることで、より良い性能-時間トレードオフが得られ、密なエッジ集合は収束を遅くする場合があった。
• GPRFは、ベイジアンコアミットーマシンを、GP推論の構造的近似としての決定的解釈を提供する。
• パーティションが非木構造を示しても、本手法は有効であるため、理想化されたグラフィカルモデルを超えたロバストネスを示している。