[論文レビュー] tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder

Alex Campbell, Píetro Lió|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 27被引用数 6

ひとこと要約

本稿では、標準的なスカラー型ガウス事前分布に代わり、テンソル型ガウス過程を用いるvariational autoencoder（tvGP-VAE）を提案する。この手法により、多次元潜在空間における相関構造を明示的にモデル化できる。テンソルモードにおけるカーネル関数を活用することで、時空間的画像データにおける再構成性能が向上し、特に空間的相関構造のモデル化が、検証された設定の中で最も優れた結果をもたらした。

ABSTRACT

Variational autoencoders (VAEs) are a powerful class of deep generative latent variable model for unsupervised representation learning on high-dimensional data. To ensure computational tractability, VAEs are often implemented with a univariate standard Gaussian prior and a mean-field Gaussian variational posterior distribution. This results in a vector-valued latent variables that are agnostic to the original data structure which might be highly correlated across and within multiple dimensions. We propose a tensor-variate extension to the VAE framework, the tensor-variate Gaussian process prior variational autoencoder (tvGP-VAE), which replaces the standard univariate Gaussian prior and posterior distributions with tensor-variate Gaussian processes. The tvGP-VAE is able to explicitly model correlation structures via the use of kernel functions over the dimensions of tensor-valued latent variables. Using spatiotemporally correlated image time series as an example, we show that the choice of which correlation structures to explicitly represent in the latent space has a significant impact on model performance in terms of reconstruction.

研究の動機と目的

• 高次元テンソルデータの複数次元にわたる構造的相関をモデル化できない標準VAEの限界を解消すること。
• 潜在空間に空間的・時間的・時空間的相関構造を明示的に組み込むことで、教師なし表現学習を改善すること。
• テンソル型ガウス過程にKronecker分解可能なカーネルを用いることで、計算的に扱いやすくメモリ効率の良い深層生成モデルを構築すること。
• 多次元データにおける複雑な相関パターンを捉えるために、テンソル値潜在変数がベクトル値潜在変数を上回る性能を示すかどうかを検証すること。
• 異なる相関構造仮定（空間的・時間的・時空間的）がVAEの再構成品質に与える影響を評価すること。

提案手法

• VAEにおける標準的なスカラー型ガウス事前分布および平均場ガウス事後分布を、テンソル値潜在変数上のテンソル型ガウス過程に置き換える。
• 複数のモード（例：空間的行・列・時間）における相関をモデル化するために、Kronecker分解可能なカーネル関数を用いる。
• テンソル積構造を活用することで計算効率を維持しつつ、アモアタイズド確率的変分推論を用いてエンドツーエンドの学習を実現する。
• エンコーダーでは2次元空間的畳み込み followed 1次元時間的畳み込みを適用し、画像時系列データから階層的特徴を抽出する。
• デコーダーでは転置畳み込みを用い、モード固有の相関構造を持つ潜在表現から入力データを再構成する。
• カーネルの長さスケールをチューニングし、全結合層ではバッチ正則化とReLU活性化関数を適用して安定した学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における相関構造を明示的にモデル化することで、VAEの再構成性能が向上するか？
• RQ2 異なる相関構造（空間的・時間的・時空間的）が画像時系列データの再構成品質に与える影響は何か？
• RQ3 テンソル型ガウス過程をVAEフレームワークに効率的に統合できるか、計算的扱いやすさを保っているか？
• RQ4 カーネル関数および長さスケールパラメータの選択がモデル性能に与える影響は何か？
• RQ5 tvGP-VAEは、入力データの構造をよりよく捉えることで、事後分布の崩壊（posterior collapse）を緩和するか？

主な発見

• 空間的相関構造を明示的にモデル化したtvGP-VAEは、Spritesテストセットで90,578 ± 6.2の再構成損失を達成し、標準VAEおよび他のtvGP-VAEバリアントを上回った。
• 時間的相関構造のみを明示的にモデル化したモデルは、再構成損失90,587 ± 11.3を示し、空間的単独モデルよりわずかに劣ったが、標準VAEを上回った。
• 時空間的tvGP-VAEは、すべての相関をモデル化可能な反面、再構成損失90,616 ± 3.8と最も悪く、過学習またはハイパーパrameterチューニングの不適切さが原因である可能性がある。
• 可視化された再構成結果から、空間的tvGP-VAEが最も詳細を捉えており、時空間的バージョンは動きのある領域で高い不確実性を示した。
• 時空間的モデルでは、カーネル長さスケールパラメータの分散により、潜在次元1つあたり3つの追加ハイパーパrameterが導入され、モデルの複雑さとチューニングの難易度が上昇した。
• 結果から、最も関連性の高い相関構造（例：空間的）のみをモデル化することが、すべての次元を同時にモデル化しようとするよりも優れた性能をもたらすことが示唆された。