[論文レビュー] Variational Orthogonal Features

David R. Burt, Carl Edward Rasmussen+1 more|arXiv (Cornell University)|Jun 23, 2020

Gaussian Processes and Bayesian Inference参考文献 20被引用数 6

ひとこと要約

本稿では、任意の定常カーネルに対して適用可能なガウス過程推論のための変分直交特徴（VOF）を導入する。この手法により、モンテカルロサンプルを用いて不偏なELBO推定器をO(\tilde{N}T + M^2T)で計算可能となり、平均場近似下ではO(\tilde{N}T + MT)の複雑さを達成する。これは、誘導特徴共分散行列K_uuを対角行列とする特徴の構築により、標準的なスパース変分推論におけるO(M^3)のコストを排除することで実現される。

ABSTRACT

Sparse stochastic variational inference allows Gaussian process models to be applied to large datasets. The per iteration computational cost of inference with this method is $\mathcal{O}( ilde{N}M^2+M^3),$ where $ ilde{N}$ is the number of points in a minibatch and $M$ is the number of `inducing features', which determine the expressiveness of the variational family. Several recent works have shown that for certain priors, features can be defined that remove the $\mathcal{O}(M^3)$ cost of computing a minibatch estimate of an evidence lower bound (ELBO). This represents a significant computational savings when $M\gg ilde{N}$. We present a construction of features for any stationary prior kernel that allow for computation of an unbiased estimator to the ELBO using $T$ Monte Carlo samples in $\mathcal{O}( ilde{N}T+M^2T)$ and in $\mathcal{O}( ilde{N}T+MT)$ with an additional approximation. We analyze the impact of this additional approximation on inference quality.

研究の動機と目的

• スパース変分GP推論におけるO(M^3)コストを排除する、スケーラブルな推論手法の開発。
• 大規模なMと小さなミニバッチに対して、計算オーバーヘッドが小さい不偏なELBO推定を可能にする。
• 閉形式解を必要としない、VFF や固有関数特徴の既存手法を、任意の定常カーネルに一般化する。
• 対角行列K_uuを持つ直交基底関数を活用することで、確率的変分推論の計算効率を向上させる。
• 誘導特徴共分散に平均場近似を適用した場合の、近似品質と計算コストのトレードオフを分析する。

提案手法

• 定常カーネルの再生核ヒルベルト空間（RKHS）における直交関数に基づく、変分直交特徴（VOF）の族を構築する。
• 誘導特徴共分散行列K_uuが対角になるように特徴を定義し、標準的なスパース変分推論におけるO(M^3)の逆行列計算コストを排除する。
• T個のサンプルを用いたモンテカルロサンプルにより、ELBOをO(\tilde{N}T + M^2T)の時間で推定し、平均場近似下ではO(\tilde{N}T + MT)の複雑さを達成する。
• 共役および非共役の尤度に対しても適用可能であり、非ガウス的ケースにはガウス＝エルミート求積法を用いる。
• カーネルのスペクトル分解を介して特徴関数を導出し、直交性と対角行列K_uuを保証する。
• 実用的な特徴値および勾配の効率的計算のために、直交多項式（例：エルミート多項式）の再帰的評価を採用する。

実験結果

リサーチクエスチョン

• RQ1 任意の定常カーネルに対して、スパース変分GP推論におけるO(M^3)コストを回避する汎用的特徴構築手法を開発可能か？
• RQ2 誘導特徴共分散に平均場近似を適用した場合、実用的な変分近似の品質にどのような影響を与えるか？
• RQ3 ELBO推定の分散と収束性の観点から、完全なK_uuと対角行列K_uuの間の計算的・統計的トレードオフは何か？
• RQ4 従来の固有関数ベース手法が積分方程式の解析的解を必要とするのとは異なり、積分方程式の解析的解なしに直交特徴を構築可能か？
• RQ5 直交基底（例：エルミート、三角関数）の選択が、得られるGPモデルのスケーラビリティと精度に与える影響は何か？

主な発見

• 提案されたVOF手法により、T個のモンテカルロサンプルを用いた不偏なELBO推定がO(\tilde{N}T + M^2T)の複雑さで達成され、標準的なSVIにおけるO(M^3)項が完全に排除される。
• 平均場近似を適用した場合、複雑さはO(\tilde{N}T + MT)に低下し、M ≫ \tilde{N}の状況ではスケーラビリティが顕著に向上する。
• 本手法は任意の定常カーネルに適用可能であり、特定のカーネルクラスに制限される既存手法（例：VFF、固有関数特徴）を一般化する。
• 実験結果から、平均場近似による性能低下はわずかであり、TrigVOFと完全なK_uuバージョンではELBO値がほぼ同等であることが示された。
• 理論的利点は明確であるが、小規模なMの状況では直交多項式の評価にかかる高コストが実用的利点を制限しており、大規模Mでは漸近的に優位であることが保証される。
• 本手法により、Mに依存する立方項を分離することで、大規模データセットにおける効率的な確率的変分推論が可能になる。