[論文レビュー] Sparse Gaussian Processes with Spherical Harmonic Features

Vincent Dutordoir, Nicolas Durrande+1 more|arXiv (Cornell University)|Jun 30, 2020

Gaussian Processes and Bayesian Inference被引用数 16

ひとこと要約

この論文では、入力データを単位超球面にマップし、球面調和関数を基底関数として用いることで、高速かつスケーラブルな推論を可能にするスパースガウス過程手法、Variational Inference with Spherical Harmonics (VISH) を提案する。球面上の定常カーネルのメルサー表現を活用することで、誘導変数間の対角行列となる共分散を実現し、推論の複雑さを低減。標準的なスパースGPに比べて600万点のデータセットを100倍以上高速に学習可能でありながら、最先端の精度を維持する。

ABSTRACT

We introduce a new class of inter-domain variational Gaussian processes (GP) where data is mapped onto the unit hypersphere in order to use spherical harmonic representations. Our inference scheme is comparable to variational Fourier features, but it does not suffer from the curse of dimensionality, and leads to diagonal covariance matrices between inducing variables. This enables a speed-up in inference, because it bypasses the need to invert large covariance matrices. Our experiments show that our model is able to fit a regression model for a dataset with 6 million entries two orders of magnitude faster compared to standard sparse GPs, while retaining state of the art accuracy. We also demonstrate competitive performance on classification with non-conjugate likelihoods.

研究の動機と目的

• 高次元入力空間におけるスパースガウス過程の次元の呪いを克服するため、新たな相互ドメイン変分GPフレームワークを導入すること。
• 高次元入力空間における大きな共分散行列の逆行列計算という計算ボトルネックを回避するスケーラブルな推論手法を開発すること。
• 誘導変数の基底関数として球面調和関数を活用し、グローバルな影響と効率的な計算を保証すること。
• 大規模データセット（例：600万点）においても高速に学習可能であり、最先端モデルと同等の予測精度を維持できること。
• マーチェン族のカーネルに限定されず、超球面上の任意の定常カーネルをサポートできること。

提案手法

• バイアス拡張された入力表現を用いて、入力データを線形に単位超球面 $\mathbb{S}^{d-1}$ にマップする。
• 誘導変数の基底関数として球面調和関数を用い、これらは球面上の定常カーネルの固有関数である。
• 球面調和特徴を用いた変分近似を構築し、誘導変数間の共分散行列を対角行列とする。
• 球面上の定常カーネルのメルサー表現を活用し、球面ドメインにおけるカーネル行列が対角化可能であることを保証する。
• 変分推論を実行し、近似事後分布と真の事後分布のKullback-Leibler発散を最小化する。計算複雑度は $\mathcal{O}(M^2N + N)$ に低減される。
• 線形射影の逆変換を用いて、予測結果を球面ドメインから元の入力空間に再マップする。

実験結果

リサーチクエスチョン

• RQ1 高次元入力空間における次元の呪いを回避するスパースGPフレームワークを、球面調和関数を用いて構築可能か？
• RQ2 球面調和特徴を用いることで、誘導変数間の共分散構造が対角化され、既存手法よりも高速な推論が可能になるか？
• RQ3 本手法は大規模データセット（例：600万点）においても、最先端モデルと同等の予測精度を維持しながらスケーラブルに学習可能か？
• RQ4 回帰および分類タスクにおいて、本手法はVariational Fourier Features (VFF) や標準的なスパースGP (SVGP) と比較してどのように性能を発揮するか？
• RQ5 本手法はマーチェン族のカーネルに限定されず、超球面上の任意の定常カーネルに一般化可能か？

主な発見

• VISHは、1台のコンsumer GPU上で600万点の回帰データセットを41.0 ± 0.81秒で処理し、標準的なスパースGP (SVGP) に比べて2桁の高速化を達成した。
• NLPDの観点ではVFFおよびSVGPを上回り、UCI HEPMASSデータセットではMSEにおいて誤差範囲内に収まり、660個の誘導変数を用いたモデルで競争力のある性能を示した。
• SUSY分類ベンチマークでは、AuCが0.859 ± 0.001を達成し、平方指数カーネルを用いたSVGP (0.852 ± 0.002) よりも優れており、5層の深層ニューラルネットワークと同等の性能を示した。
• 球面調和関数の使用により、誘導変数間の共分散行列が対角化され、大きな行列の逆行列計算の必要がなくなり、より高速な推論が可能になった。
• VFFが誘導変数数の指数的増加により非現実的になる高次元データ（最大8次元）に対しても、本手法はスケーラブルであることを示した。
• 球面調和基底は次数順序による原理的な特徴選択を可能とし、固定された誘導変数の予算を最適に活用できる。