[論文レビュー] Exact Inference for Gaussian Process Regression in case of Big Data with the Cartesian Product Structure

Mikhail Belyaev, Evgeny Burnaev+1 more|arXiv (Cornell University)|Mar 26, 2014

Gaussian Processes and Bayesian Inference参考文献 13被引用数 20

ひとこと要約

本稿では、多次元要因を有する大規模な要因設計に特化したガウス過程回帰の新しい正確な推論手法を提案する。データのカルテシアン積構造を活用することで、O(N log N)の時間計算量を達成し、非等方性を考慮した効率的かつ正確なGP回帰を実現する。実世界および合成ベンチマークにおいて、FITCなどのスパース近似法よりも精度と実行時間の両面で優れている。

ABSTRACT

Approximation algorithms are widely used in many engineering problems. To obtain a data set for approximation a factorial design of experiments is often used. In such case the size of the data set can be very large. Therefore, one of the most popular algorithms for approximation - Gaussian Process regression - can be hardly applied due to its computational complexity. In this paper a new approach for Gaussian Process regression in case of factorial design of experiments is proposed. It allows to efficiently compute exact inference and handle large multidimensional data sets. The proposed algorithm provides fast and accurate approximation and also handles anisotropic data.

研究の動機と目的

• 要因設計に起因する大規模な多次元データセットにおける標準的なガウス過程回帰の計算不能性に対処すること。
• スパース近似に依存せずに、大規模な訓練データセットに保持される完全な情報を保持する正確な推論手法を開発すること。
• 要因のサイズが著しく異なる非等方性データを処理するために、モデルの退化を防ぐように調整された事前分布を組み込むこと。
• 高次元で構造的なデータに対して、柔軟性と解釈可能性を維持したまま、効率的かつスケーラブルなGP回帰を可能にすること。
• 合成および実世界の工学的問題において、FITC や MARS と比較して精度と実行時間の両面で優れた性能を示すことを実証すること。

提案手法

• 要因設計のカルテシアン積構造を活用して、共分散行列を小さな構造的行列のテンソル積に分解する。
• Kronecker積構造に基づく共分散行列の低ランク近似を用い、FFTベースのソルバーを介した効率的なコレスキー分解を実現する。
• 要因のサイズの違いを考慮した新しい事前分布を導入し、非等方性に対するロバストネスを向上させ、モデルの退化を防止する。
• 高速行列演算を用いた正確な推論を実行し、O(N log N)の時間計算量とO(N)のメモリ使用量を達成する。
• 要因のサイズに関するドメイン知識を用いたパラメータ初期化により、非等方的状況下での収束性と安定性を向上させる。
• 設計の内在的構造に適応する正則化を導入することで、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模な多次元要因設計に対して、正確なガウス過程推論を計算的に実行可能にすることができるか？
• RQ2 要因設計のカルテシアン積構造を活用することで、近似を用いずにGP回帰の高速化を達成できるか？
• RQ3 要因サイズのばらつきが著しい非等方性データを処理するにあたり、最適な事前分布と初期化戦略は何か？
• RQ4 構造的データにおいて、FITC や MARS などのスパースGP近似法と比較して、提案手法の精度と効率性はどのように差がつくか？
• RQ5 数万点にのぼるデータセットに対しても、高い予測精度を維持しながらスケーリング可能か？

主な発見

• Dolan-Moré曲線（対数スケール）により、テスト問題の範囲において、tensorGP-reg は FITC や MARS よりも顕著に高い近似精度を達成している。
• 14,400個の訓練点を有する回転ディスク設計問題において、tensorGP-reg は滑らかで正確な近似を生成したが、500個の誘導点を用いたFITCは退化を示し、適合が悪かった。
• 本手法はO(N log N)の時間計算量とO(N)のメモリ使用量を達成しており、標準的なGP回帰が非効率となる大規模データセットに対しても正確な推論を可能にしている。
• 調整された事前分布は、非等方性データにおけるモデルの退化を効果的に軽減し、次元が高く不均一にサンプリングされた設計において、標準的なGP定式化を上回る性能を示している。
• Dolan-Moré曲線から、tensorGP-reg の実行時間性能は MARS と同等であり、FITC よりも優れていることが示され、精度と速度の両面で一貫した優位性が確認された。
• 本アルゴリズムは訓練データセットに保持される完全な情報を保持しており、スパース近似に内在する情報損失を回避している。