[論文レビュー] Modelling local and global phenomena with sparse Gaussian processes

Jarno Vanhatalo, Aki Vehtari|arXiv (Cornell University)|Jun 13, 2012

Gaussian Processes and Bayesian Inference参考文献 16被引用数 25

ひとこと要約

本稿では、長距離スケールの現象に完全独立条件（FIC）近似を、短距離スケールの特徴にコンパクトサポート（CS）共分散関数を組み合わせることで、新たなスパースガウス過程モデルを提案する。CSカーネルのスパarsityとFICの効率性を活用することで、従来の加法的近似よりも、局所的およびグローバルなデータ構造をより正確にモデル化しつつ、FICと同等の計算複雑度を達成する。

ABSTRACT

Much recent work has concerned sparse approximations to speed up the Gaussian process regression from the unfavorable O(n3) scaling in computational time to O(nm2). Thus far, work has concentrated on models with one covariance function. However, in many practical situations additive models with multiple covariance functions may perform better, since the data may contain both long and short length-scale phenomena. The long length-scales can be captured with global sparse approximations, such as fully independent conditional (FIC), and the short length-scales can be modeled naturally by covariance functions with compact support (CS). CS covariance functions lead to naturally sparse covariance matrices, which are computationally cheaper to handle than full covariance matrices. In this paper, we propose a new sparse Gaussian process model with two additive components: FIC for the long length-scales and CS covariance function for the short length-scales. We give theoretical and experimental results and show that under certain conditions the proposed model has the same computational complexity as FIC. We also compare the model performance of the proposed model to additive models approximated by fully and partially independent conditional (PIC). We use real data sets and show that our model outperforms FIC and PIC approximations for data sets with two additive phenomena.

研究の動機と目的

• 既存のスパースガウス過程手法が単一の共分散関数に焦点を当てており、現実のデータにおける長・短の長さスケールパターンを同時に捉えられないという制限を解消すること。
• FICによりグローバルなトレンドを、コンパクトサポート共分散関数により局所的な変動を同時に捉える計算効率の高いモデルを開発すること。
• FICと同等の計算複雑度を維持しながら、混合長さスケールの現象を示すデータに対する予測性能を向上させること。
• 提案手法をFICや部分的独立条件（PIC）といった標準的な近似手法と比較し、実世界のデータセット上で評価すること。

提案手法

• モデルは、グローバルで長距離の依存関係を扱うために完全独立条件（FIC）近似と、局所的で短距離の変動を扱うためにコンパクトサポート（CS）共分散関数を組み合わせた加法的カーネル構造を採用する。
• CS共分散関数は共分散行列にスパarsityをもたらし、密なカーネルと比較して計算コストを低減する。
• CS成分のスパarsityとFICの条件付き独立構造を活用することで、FICと同様にO(nm²)の計算複雑度を維持する。
• 事後分布は変分推論を用いて近似され、FIC成分は誘導点を用いて表現され、CSカーネルは局所的近傍に直接適用される。
• スパarsity構造のおかげで効率的な計算が可能となるため、ハイパーパrameterは周辺尤度の最大化により最適化される。

実験結果

リサーチクエスチョン

• RQ1 スパースガウス過程モデルは、1つのフレームワーク内で長さスケールと短さスケールの両方の現象を効果的に捉えることができるか？
• RQ2 FICとコンパクトサポート共分散関数を組み合わせることで、FIC や PIC 近似と比較してより優れた予測性能が得られるか？
• RQ3 提案手法は、局所構造を組み込みつつも、FICと同等のO(nm²)の計算複雑度を維持できるほど計算的に効率的か？
• RQ4 混合長さスケールの挙動を示す実世界のデータセットにおいて、モデルはどの程度の性能を示すか？

主な発見

• 提案手法はFICと同等の計算複雑度を達成しており、大規模データセットにおけるスケーラブルな推論を可能にする。
• グローバルトレンドと局所的特徴を併せ持つ実データセットにおいて、FIC や PIC 近似と比較して予測精度が優れている。
• コンパクトサポート共分散関数の使用により、自然にスパースな精度行列が得られ、メモリ使用量と計算コストが低減される。
• 加法的構造により、単一カーネル近似と比較して、より複雑なデータパターンのモデル化が可能になる。