[論文レビュー] Scalable Variational Gaussian Process Regression Networks

Shibo Li, Wei Xing+2 more|arXiv (Cornell University)|Mar 25, 2020

Gaussian Processes and Bayesian Inference参考文献 15被引用数 4

ひとこと要約

本稿では、潜在関数と出力の間の複雑な事後依存関係を捉えるためにテンソル正規分布および行列正規分布の変分事後分布を用いる、スケーラブルな変分推論アルゴリズムをGaussian Process Regression Networks (GPRN)に提案する。出力空間のテンソル化と、下界の尤度におけるクリロネッカー構造の活用により、データサイズ、出力次元、潜在関数の数の各々に対して線形スケーリングを達成し、物理シミュレーションにおける数百万次元の出力予測を含む大規模なマルチ出力回帰タスクにおいて、推論の質と計算効率の両方を顕著に向上させる。

ABSTRACT

Gaussian process regression networks (GPRN) are powerful Bayesian models for multi-output regression, but their inference is intractable. To address this issue, existing methods use a fully factorized structure (or a mixture of such structures) over all the outputs and latent functions for posterior approximation, which, however, can miss the strong posterior dependencies among the latent variables and hurt the inference quality. In addition, the updates of the variational parameters are inefficient and can be prohibitively expensive for a large number of outputs. To overcome these limitations, we propose a scalable variational inference algorithm for GPRN, which not only captures the abundant posterior dependencies but also is much more efficient for massive outputs. We tensorize the output space and introduce tensor/matrix-normal variational posteriors to capture the posterior correlations and to reduce the parameters. We jointly optimize all the parameters and exploit the inherent Kronecker product structure in the variational model evidence lower bound to accelerate the computation. We demonstrate the advantages of our method in several real-world applications.

研究の動機と目的

• 既存のGPRN推論手法が完全に因子分解された変分事後分布を用いるため、潜在変数および重み間の強い事後依存関係を捉えられないという限界を解消すること。
• 特に出力次元Dが大きい場合に、既存手法がO(NK²D)またはO(QN²KD)の複雑さでスケーリングが著しく劣るという点を改善し、GPRNにおける変分推論の計算コストを低減すること。
• すべての変分パラメータを同時に最適化しながら、潜在関数および射影重みの両方における豊かな事後相関を捉える、スケーラブルで効率的な推論アルゴリズムを開発すること。
• MRI予測や100万個の出力変数を含む物理シミュレーションを含む、実世界の大規模なマルチ出力回帰問題へのGPRNの実用的応用を可能にすること。

提案手法

• 出力空間をテンソル化することで、出力に内在する構造的相関を活用する。D×Kの射影行列をテンソルに再形状する。
• 射影重みのための連合変分事後分布としてテンソル正規分布を導入し、事後依存関係を捉える一方で、共分散パラメータ数をテンソル形式でO(D²)からO(D)に削減する。
• 潜在関数値のための変分事後分布として行列正規分布を用い、それらの事後相関を効率的にモデル化する。
• クリロネッカー積の性質を活用して分解可能な形で変分下界の尤度（ELBO）を定式化し、対数行列式および行列逆行列の計算を高速化する。
• 逐次的更新に代わって勾配ベース最適化により、すべての変分パラメータを同時に最適化する。
• ヘッセ行列およびフィッシャー情報行列の近似においてクリロネッカー構造を活用し、O(NKD)の時間計算量を達成し、N、D、Kの各々に対して線形にスケーリングする。

実験結果

リサーチクエスチョン

• RQ1 完全に因子分解された近似と比較して、GPRNの変分推論手法が潜在関数および射影重み間の事後依存関係をよりよく捉えることができるか？
• RQ2 出力数Dが非常に大きい場合、特にDが数百万に達する場合に、GPRN推論の計算複雑度をDに対して線形にスケーリングさせることができるか？
• RQ3 大規模なマルチ出力回帰タスクにおいて、著しい高速化を達成しながらも高い予測精度を維持できるか？
• RQ4 物理シミュレーションに100万個の出力変数を含むような、巨大な出力次元を持つ実世界の問題に対しても、本手法は効果的に適用可能か？

主な発見

• Jura、Equity、PM2.5の3つのベンチマークデータセットにおいて、提案手法SGPRNは、平均場変分ベイズ（MFVB）および非パラメトリック変分推論（NPV）と比較して有意に低い平均絶対誤差（MAE）を達成し、p値 < 0.05の有意差を示し、優れた予測性能を実証した。
• PM2.5データセットにおいて50個の潜在関数を用いた場合、SGPRNはMFVBに対して200倍、NPVに対して785倍の高速化を達成し、O(NKD)の線形複雑度とスケーラビリティを裏付けた。
• CantileverおよびGeneExpデータセットにおいて、SGPRNはPCA-GP、KPCA-GP、IsoMAP-GPを常に上回ったが、1つのケースを除いてNRMSEがややPCA-PGより悪かった。これは、構造的出力相関に強い一般化性能を示している。
• 100万の出力次元を持つ大規模なリーマン・ドライブ・キャビティ流れの物理シミュレーションにおいて、SGPRNはすべてのベースラインと比較して顕著に低いNRMSEを達成した。特に5および10個の潜在関数を用いた場合にその有効性が顕著に示された。
• 本手法の性能は、さまざまなテンソル化スキームや潜在関数の数にかかわらず安定しており、精度および効率の両面で一貫した改善が得られた。