[論文レビュー] Thoughts on Massively Scalable Gaussian Processes

Andrew Gordon Wilson, Christoph Dann+1 more|arXiv (Cornell University)|Nov 5, 2015

Gaussian Processes and Bayesian Inference参考文献 25被引用数 76

ひとこと要約

この論文は、巡回行列近似、KroneckerおよびToeplitz構造の活用、入力空間への射影を組み合わせることで、$\frac{1}{2}$-orderの複雑さ削減を達成するMassively Scalable Gaussian Processes (MSGP)というフレームワークを紹介する。分散計算を用いずに、かつ制限の厳しい仮定を設けずに、数十億のデータポイントに対して$\frac{1}{2}$-orderの推論と学習複雑さ（$\frac{1}{2}$-orderのテスト時予測）を実現でき、スケーラブルなGP推論とカーネル学習の分野において顕著な前進を遂げた。

ABSTRACT

We introduce a framework and early results for massively scalable Gaussian processes (MSGP), significantly extending the KISS-GP approach of Wilson and Nickisch (2015). The MSGP framework enables the use of Gaussian processes (GPs) on billions of datapoints, without requiring distributed inference, or severe assumptions. In particular, MSGP reduces the standard $O(n^3)$ complexity of GP learning and inference to $O(n)$, and the standard $O(n^2)$ complexity per test point prediction to $O(1)$. MSGP involves 1) decomposing covariance matrices as Kronecker products of Toeplitz matrices approximated by circulant matrices. This multi-level circulant approximation allows one to unify the orthogonal computational benefits of fast Kronecker and Toeplitz approaches, and is significantly faster than either approach in isolation; 2) local kernel interpolation and inducing points to allow for arbitrarily located data inputs, and $O(1)$ test time predictions; 3) exploiting block-Toeplitz Toeplitz-block structure (BTTB), which enables fast inference and learning when multidimensional Kronecker structure is not present; and 4) projections of the input space to flexibly model correlated inputs and high dimensional data. The ability to handle many ($m \approx n$) inducing points allows for near-exact accuracy and large scale kernel learning.

研究の動機と目的

• 標準的なガウス過程が大規模データセット（$n > 10^5$）に対して計算的に非現実的になる理由（$\tfrac{1}{2}$-orderの複雑さ）に対処すること。
• $m \ll n$ を要件とするインダクティングポイント法の限界を克服し、予測精度の低下やカーネル学習の妨げを回避すること。
• 分散推論を用いずに、近似のない$\tfrac{1}{2}$-orderのテスト時予測（1ポイントあたり$\tfrac{1}{2}$-order）を実現すること。
• KISS-GPを高次元入力（$D \gg 5$）およびKronecker分解を超える一般の多次元構造へと拡張すること。
• 多段階巡回行列構造を用いた高速かつ正確な行列式対数の近似により、スケーラブルなカーネル学習を可能とすること。

提案手法

• 共分散行列を、巡回行列で近似可能なToeplitz行列のKronecker積として分解し、高速Kronecker法とToeplitz法の計算的利点を統合する。
• 局所的カーネル補間とインダクティングポイントを用いて、任意に配置された入力に対しても$\tfrac{1}{2}$-orderのテスト時予測を可能にする。
• ブロックToeplitz-Toeplitz-ブロック（BTTB）構造を活用し、多次元Kronecker構造が存在しない状況でも高速かつ正確な推論と学習を実現する。
• 学習された$d \times D$行列$P$を用いた入力空間への射影を適用し、高次元入力を低次元部分空間にマップすることで、スケーラブルなGPモデリングを実現する。
• 制約（例：単位スケーリング）を設け、$P$とカーネルハイパーパrameterの間の退化を防ぎながら、$P$をカーネルハイパーパrameterと同時に最適化する。
• 行列式対数の高速評価に巡回行列近似を活用し、効率的なカーネル学習とマージナル尤度最適化に不可欠な要素を提供する。

実験結果

リサーチクエスチョン

• RQ1 分散計算や制限の厳しい仮定を設けずに、数十億のデータポイントに対して$\tfrac{1}{2}$-orderの複雑さでガウス過程の推論と学習をスケーリング可能か？
• RQ2 巡回行列近似は、Kronecker構造とToeplitz構造の利点を統合し、カーネル学習と行列式対数の計算を高速化できるか？
• RQ3 Kronecker分解が適用できない多次元設定において、BTTB構造を活用して高速かつ正確な推論を可能にできるか？
• RQ4 入力空間への射影により、KISS-GPは高次元かつグリッド構造でないデータを、$\tfrac{1}{2}$-orderのテスト時複雑さでモデル化可能か？
• RQ5 射影行列とカーネルハイパーパrameterを同時に最適化することで、真の低次元部分空間を回復でき、スケールに応じた予測精度を維持できるか？

主な発見

• MSGPは1テストポイントあたりの平均および分散予測に$\tfrac{1}{2}$-orderの複雑さを達成し、標準的なGPの複雑さを$\tfrac{1}{2}$-orderから$\tfrac{1}{2}$-orderに削減した。
• この手法は、$n \approx 10^9$のデータポイントに対して、近似のない推論と学習を$\tfrac{1}{2}$-orderの複雑さで実現でき、大規模なカーネル学習を可能にした。
• 部分空間再構成誤差は$D = 40$まで低く保たれ（dist $< 0.1$）、SMAE誤差も$D = 40$まで真のGPベースラインと競合する性能を示した。
• $D = 100$でも、MSGPは高次元入力に対して標準的な正確なGPを著しく上回り、次元数へのロバストネスを示した。
• 単位スケーリングされた射影行列は、$P$とカーネルハイパーパrameter間の退化を防ぎ、数値的安定性と性能を向上させた。
• 巡回行列近似により、行列式対数の評価が高速かつ正確に可能となり、1次元および多次元設定におけるマージナル尤度最適化とカーネル学習の高速化に貢献した。