[論文レビュー] Sparse Gaussian Process Variational Autoencoders

Matthew Ashman, Jonathan So+4 more|arXiv (Cornell University)|Oct 20, 2020

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、推論ネットワークを用いて多出力スパースGaussianプロセス（GP）の近似をパラメータ化することで、大規模で多次元の時空間データセットにおける複雑な依存関係を効率的かつアンモタイズド推論が可能な、スパースGaussianプロセス変分オートエンコーダー（SGP-VAE）を提案する。部分的推論ネットワークを用いることで欠損データ処理が可能であり、既存手法を上回る性能を示す。

ABSTRACT

Large, multi-dimensional spatio-temporal datasets are omnipresent in modern science and engineering. An effective framework for handling such data are Gaussian process deep generative models (GP-DGMs), which employ GP priors over the latent variables of DGMs. Existing approaches for performing inference in GP-DGMs do not support sparse GP approximations based on inducing points, which are essential for the computational efficiency of GPs, nor do they handle missing data -- a natural occurrence in many spatio-temporal datasets -- in a principled manner. We address these shortcomings with the development of the sparse Gaussian process variational autoencoder (SGP-VAE), characterised by the use of partial inference networks for parameterising sparse GP approximations. Leveraging the benefits of amortised variational inference, the SGP-VAE enables inference in multi-output sparse GPs on previously unobserved data with no additional training. The SGP-VAE is evaluated in a variety of experiments where it outperforms alternative approaches including multi-output GPs and structured VAEs.

研究の動機と目的

• 既存のGP-DGMにおけるスパースGP近似のサポート不足と、原則的かつ整合性のある欠損データ処理の欠如に対処すること。
• 以前に観測されていなかったデータに対する多出力スパースGPの効率的かつアンモタイズド推論を可能にすること。
• 大規模な時空間データに対して、深層生成モデルとGaussianプロセスの長所を統合する包括的なフレームワークを構築すること。
• 計算スケーラビリティを維持しながら、多次元出力における柔軟な尤度関数と構造的依存関係をサポートすること。

提案手法

• インダクティングポイントを介して多出力スパースGP近似をパrameter化する推論ネットワークを用いるSGP-VAEを提案する。
• 観測済み出力のみに条件づけることで欠損データを効果的に処理する、部分的推論ネットワーク（PointNet、IndexNet、FactorNet）を採用する。
• アンモタイズド変分推論を活用することで、再トレーニングなしに未観測データに対して高速かつ一般化可能な推論を実現する。
• 複雑な多次元出力を柔軟な尤度関数でモデル化するため、デコーダーで因子化尤度を用いる。
• 共有のインダクティングポイントの位置を、潜在次元とタスク間で初期化するためにk-meansクラスタリングを適用する。
• エンコーダー、デコーダー、および推論ネットワークをパラメータ化するため、ReLUまたはtanh活性化関数を用いた深層ニューラルネットワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 スパースGP近似が、大規模で多次元の時空間データセットにスケーリング可能な変分オートエンコーダーに効果的に統合可能か？
• RQ2 深層生成モデルにGP事前分布を組み込む場合、原則的かつスケーラブルな方法で欠損データを処理できるか？
• RQ3 提案されたSGP-VAEは、実世界の時空間データにおいて、多出力GPsや構造的VAEよりも優れた予測性能を達成するか？
• RQ4 SGP-VAEにおけるアンモタイズド推論は、追加のトレーニングなしに以前に観測されていなかったデータに一般化可能か？

主な発見

• バウンシングボールおよび気象観測所データセットにおいて、ベースラインの多出力GPsおよび構造的VAEよりも、SGP-VAEが優れた予測性能を示した。
• 気象観測所データセットでは、一部の変数に93.2%の欠損率が存在する中で、SGP-VAEは他のモデルと比較して低い平均二乗誤差（RMSE）と負の対数尤度（NLL）を達成した。
• モデルは優れた一般化性能を示し、アンモタイズド推論により、以前に観測されていなかったデータに対しても正確な推論が可能であった。
• 部分的推論ネットワーク（PointNet、IndexNet、FactorNet）は欠損データを効果的に処理しており、特にFactorNetは高欠損率状況下でも優れたロバストネスを示した。
• バウンシングボールタスクでは、1つの潜在次元のみを用いても、SGP-VAEは最先端の性能を達成し、真値の軌道をほぼ正確に回復した。