[論文レビュー] Structured Bayesian Gaussian process latent variable model

Steven Atkinson, Nicholas Zabaras|arXiv (Cornell University)|May 22, 2018

Gaussian Processes and Bayesian Inference参考文献 8被引用数 7

ひとこと要約

本稿では、パラメータ化されたカーネルとKronecker構造をとる共分散行列を用いて、高次元データにおける空間相関を明示的にモデル化する構造的ベイジアンガウス過程潜在変数モデル（SGPLVM）を提案する。折りたたみ変分推論アプローチを活用することで、画像における欠損データの補完および動画フレームのスーパーキャラクタリゼーションが、推論複雑度が取り扱える範囲で、標準モデルを上回るRMSEおよびMNLP指標を達成する。

ABSTRACT

We introduce a Bayesian Gaussian process latent variable model that explicitly captures spatial correlations in data using a parameterized spatial kernel and leveraging structure-exploiting algebra on the model covariance matrices for computational tractability. Inference is made tractable through a collapsed variational bound with similar computational complexity to that of the traditional Bayesian GP-LVM. Inference over partially-observed test cases is achieved by optimizing a "partially-collapsed" bound. Modeling high-dimensional time series systems is enabled through use of a dynamical GP latent variable prior. Examples imputing missing data on images and super-resolution imputation of missing video frames demonstrate the model.

研究の動機と目的

• 既存のベイジアンGP-LVMが高次元データにおける空間相関を扱う能力に限界を示す問題に対処すること。
• 構造的空間事前分布を組み込むことで、欠損データ補完におけるサンプル効率および予測精度を向上させること。
• 時系列データに対して動的事前分布を用いることで、学習データよりも高い解像度での推論および生成を可能とすること。
• Kronecker構造をとる共分散行列と折りたたみ変分推論を用いることで、計算の取り扱いやすさを維持すること。
• 複雑なデータにおける空間的および時空間的依存関係をモデリングする解釈可能なパラメータ化カーネルを提供すること。

提案手法

• モデルは、空間相関をパラメータ化されたカーネル関数を用いて明示的に符号する構造的カーネルを導入することで、ベイジアンGP-LVMを拡張する。
• 共分散行列におけるKronecker積構造を活用することで、計算を効率化し、スパースGPモデルと同等の複雑度にまで低減する。
• 誘導出力の解析的統合により、折りたたみ変分バインドを導出し、標準的なスパースGP-LVMと同等の複雑度で効率的な推論を可能にする。
• 部分的に観測されたテストデータに対しては、「部分的に折りたたまれた」変分バインドを用い、学習データには折りたたみ項、テストデータには非折りたたみ項を組み合わせる。
• 時系列データの時間的依存関係をモデリングするため、動的GP事前分布を組み込み、動画における補間およびスーパーキャラクタリゼーションを可能にする。
• Kronecker積の固有分解の性質を活用して、変分下界および予測分布を効率的に計算する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおける構造的空間相関を、ベイジアンGP-LVMフレームワーク内で明示的にモデリング可能か。これにより、サンプル効率および予測精度が向上するか？
• RQ2 GP-LVM共分散行列に空間構造を組み込む際、計算の取り扱いやすさをどのように維持できるか？
• RQ3 特に画像および動画補完タスクにおいて、学習時に見られなかった高解像度データへの一般化はどの程度可能か？
• RQ4 潜在変数モデリングと構造的カーネルの組み合わせが、標準GP-LVMや構造的GP回帰と比較して、欠損データ補完性能を向上させるか？
• RQ5 動的事前分布の導入が、動画フレームのような時間的に相関のある高次元系列の再構成能力をどの程度向上させるか？

主な発見

• SGPLVMは、高解像度動画フレーム補完においてRMSE 0.13、MNLP -2.13を達成し、構造的GPベースライン（RMSE 0.23、MNLP -0.021）を顕著に上回った。
• 640×360の学習データのみを用いても、1280×720解像度の欠損動画フレームを効果的に再構成し、高解像度例が存在しない状況でもスーパーキャラクタリゼーション能力を示した。
• 潜在変数モデリングが優れた性能を発揮したことが、この構造を備えないモデルと比較して優れた再構成品質を示したことで裏付けられた。
• 空間カーネルにおける学習済みの逆長さスケールは、画像次元間の解釈可能な空間的依存関係を示しており、空間相関の効果的なモデリングを確認した。
• 部分的に折りたたまれた変分バインドにより、部分的に観測されたテストデータに対する正確な推論が可能になり、計算効率が維持された。
• 動的SGPLVMは時間的ダイナミクスを効果的に捉えており、事後分布の平均潜在変数がフレーム間で滑らかで連続的な変化を示した。