[論文レビュー] Scalable Exact Inference in Multi-Output Gaussian Processes

Wessel P. Bruinsma, Eric Perim+4 more|arXiv (Cornell University)|Nov 14, 2019

Gaussian Processes and Bayesian Inference参考文献 60被引用数 15

ひとこと要約

本稿では、潜在次元数 $ m $ に対して線形スケーリングを達成するスケーラブルな正確な推論手法である直交即時線形混合モデル（OILMM）を提案する。計算複雑性を $ O(n^3m^3) $ から $ O(n^3m + nmp + m^2p) $ に低減することで、高次元の多出力ガウス過程における正確な推論をスケール可能に実現する。本手法は、データの十分統計量を用いて高次元の多出力問題を独立した単出力問題に分離し、近似を一切用いずに正確な推論を可能にするとともに、既存のGP近似手法と即座に統合可能である。

ABSTRACT

Multi-output Gaussian processes (MOGPs) leverage the flexibility and interpretability of GPs while capturing structure across outputs, which is desirable, for example, in spatio-temporal modelling. The key problem with MOGPs is their computational scaling $O(n^3 p^3)$, which is cubic in the number of both inputs $n$ (e.g., time points or locations) and outputs $p$. For this reason, a popular class of MOGPs assumes that the data live around a low-dimensional linear subspace, reducing the complexity to $O(n^3 m^3)$. However, this cost is still cubic in the dimensionality of the subspace $m$, which is still prohibitively expensive for many applications. We propose the use of a sufficient statistic of the data to accelerate inference and learning in MOGPs with orthogonal bases. The method achieves linear scaling in $m$ in practice, allowing these models to scale to large $m$ without sacrificing significant expressivity or requiring approximation. This advance opens up a wide range of real-world tasks and can be combined with existing GP approximations in a plug-and-play way. We demonstrate the efficacy of the method on various synthetic and real-world data sets.

研究の動機と目的

• 多出力ガウス過程における正確な推論の計算コストが、入力サイズ $ n $ と出力次元 $ p $ に対して立方的に増大するという問題に対処すること。
• 既存の低ランクMOGPモデル（例：即時線形混合モデル（ILMM））における $ O(n^3m^3) $ の計算複雑性を克服し、中程度の $ m $ に対しても実行不可能である問題を解消すること。
• 潜在部分空間の次元 $ m $ に対して線形スケーリングを達成しつつ、正確な推論と高い表現力の両方を維持する手法を開発すること。
• 時空間電力価格予測や気候モデルキャリブレーションといった大規模な実世界問題へのMOGPの実用的応用を可能にすること。

提案手法

• 直交基底を活用して多出力推論を独立した単出力問題に分離する、多出力ガウス過程のクラスである直交即時線形混合モデル（OILMM）を提案する。
• 共分散行列の逆行列計算の負担を軽減することで正確な推論を可能にする、データの十分統計量を導入する。
• $ m $ に対して線形に依存する閉形式の周辺尤度の式を導出することで、$ m $ における立方スケーリングを回避する。
• 多出力共分散をランク1成分の和に分解し、独立した単出力GP推論により効率的な計算を実現する。
• 変分誘導点や状態空間法などの既存のスケーラブルなGP近似手法と、即座に統合可能なプラグアンドプレイの形で統合を可能にする。
• 尤度関数と予測分布の再パrameterizationを用いることで、正確な推論を維持しつつ、効率的な最適化とサンプリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 多出力ガウス過程における正確な推論を、表現力に損なわれることなく、大きな潜在次元数 $ m $ に対してもスケーラブルに実現できるか？
• RQ2 MOGP推論の計算複雑性を $ O(n^3m^3) $ から $ m $ に対して線形に低減しつつ、正確性を保持できるか？
• RQ3 データの十分統計量を用いて高次元の多出力問題を独立した単出力問題に分離できるか？
• RQ4 Kroneckerのトリックや変分近似といった既存のスケーラブルな手法と比較して、性能と速度に優れるか？
• RQ5 既存のGP近似技術と、プラグアンドプレイの形で効果的に統合できるか？

主な発見

• OILMMは $ O(n^3m + nmp + m^2p) $ の時間計算量と $ O(n^2m + np + mp) $ の記憶容量計算量を達成し、主要な項が $ m $ に対して線形であるため、大きな $ m $ に対してもスケーリング可能である。
• 実世界の電力価格データセット（$ n = 1000 $ 時間点、$ p = 2313 $ 位置）において、$ m = 40 $ でも正確な推論が可能であり、$ 40{,}000 \times 40{,}000 $ 行列の逆行列計算を回避できた。
• 99\%の分散説明率を達成する場合、$ 120{,}000 \times 120{,}000 $ 行列の逆行列計算を回避でき、これは標準的なILMMでは実行不可能である。
• 合成データおよび実世界データの実験において、Kroneckerのトリックと同等の性能を達成したが、わずかで軽量な演算のみを用いた。
• $ n \gg p $ の場合、標準的なILMMよりも実行時間が優れていたが、$ n \approx p $ の場合でも競争力のある性能を示した。
• 大規模な気候モデルキャリブレーションタスクにおいて、OILMMは空間相関を適切に学習し、類似性に基づいてモデルをグループ化し、シミュレータ間の意味のある構造的関係を明らかにした。