[論文レビュー] On Disentanglement in Gaussian Process Variational Autoencoders

Simon Bing, Vincent Fortuin+1 more|arXiv (Cornell University)|Feb 10, 2021

Gaussian Processes and Bayesian Inference参考文献 42被引用数 4

ひとこと要約

本稿では、学習可能な長さスケールを備えたガウス過程事前分布を用いて時系列データの時間的依存性をモデル化し、分離可能で滑らかで解釈可能な潜在表現を実現する、分離ガウス過程変分オートエンコーダー（DGP-VAE）を提案する。この手法は、ベンチマーク上の分離タスクで最先端のモデルを上回り、実世界の医療時系列データにおいても優れた分離性能と下流分類性能を達成している。

ABSTRACT

Complex multivariate time series arise in many fields, ranging from computer vision to robotics or medicine. Often we are interested in the independent underlying factors that give rise to the high-dimensional data we are observing. While many models have been introduced to learn such disentangled representations, only few attempt to explicitly exploit the structure of sequential data. We investigate the disentanglement properties of Gaussian process variational autoencoders, a class of models recently introduced that have been successful in different tasks on time series data. Our model exploits the temporal structure of the data by modeling each latent channel with a GP prior and employing a structured variational distribution that can capture dependencies in time. We demonstrate the competitiveness of our approach against state-of-the-art unsupervised and weakly-supervised disentanglement methods on a benchmark task. Moreover, we provide evidence that we can learn meaningful disentangled representations on real-world medical time series data.

研究の動機と目的

• ガウス過程変分オートエンコーダー（GP-VAE）が順序付きデータから分離可能な表現を学習できるかどうかを調査すること。
• 各潜在次元にガウス過程事前分布を適用し、要因間の独立性を促進することで、時系列データにおける分離性を向上させること。
• 標準ベンチマークデータセットおよび実世界の医療時系列データ上でモデルの性能を評価すること。
• 分離可能な表現が、集中治療医療における死亡予測などの下流予測性能を向上させることを示すこと。

提案手法

• DGP-VAEは、各潜在次元に独立したガウス過程事前分布を適用し、分離性を促進するための個別の長さスケールを導入することで、GP-VAEフレームワークを拡張する。
• 時間的依存性を正確に捉えるため、潜在空間における時間的依存性を捉えるために構造化された変分推論スキームを用いる。
• 各潜在要因を独立して制御できるように、時間的整合性を保ちつつ因子化された変分後確率分布を採用する。
• 潜在次元間の独立性を促進するために、ガウス過程の長さスケールにおける低クロス構造を最適化することで、分離性を促進する。
• 再パラメータ化勾配を用いた確率的勾配変分ベイズ（SGVB）により、エンドツーエンドでモデルを訓練する。
• 学習された潜在表現は、分離度指標（DCI）および実際の医療データにおける下流分類タスクを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 構造化された事前分布を備えたGP-VAEは、順序付き時系列データから分離可能な表現を学習できるか？
• RQ2 標準ベンチマーク上での最先端の自己教師ありおよび弱教師あり分離モデルと比較して、DGP-VAEはどのように性能を発揮するか？
• RQ3 実世界の医療時系列データにおいて、DGP-VAEは既存のモデルと比較してより意味的で解釈可能な分離可能な表現を学習できるか？
• RQ4 分離可能な表現が、集中治療医療における死亡予測などの下流予測性能をどの程度向上させるか？

主な発見

• DGP-VAEは、HiRID医療時系列データセットにおいて0.325 ± 0.013の分離度スコアを達成し、Ada-GVAEベースライン（0.133 ± 0.005）を顕著に上回った。
• DGP-VAEはHiRIDで0.358 ± 0.013の完全性スコアを達成し、Ada-GVAEの0.185 ± 0.007と比較して、潜在要因と臨床的要因との一致度が高かった。
• DGP-VAEは死亡予測タスクで0.769 ± 0.010のAUROCを達成し、Ada-GVAEの0.684 ± 0.019を上回り、下流の有用性が向上したことを示した。
• 定性的な分析では、DGP-VAEが心血管、呼吸機能などの関連する臨床的要因を単一の潜在次元に効果的にクラスタリングし、関係のない要因を分離していることが示された。
• モデルは、元の観測値や非GPベースラインと比較して、滑らかでノイズ低減された潜在時系列を生成し、より解釈可能であった。
• 結果から、個別の長さスケールを備えたガウス過程事前分布は、従来の弱教師ありアプローチよりも、現実世界の時系列データの構造とより整合していることが示唆された。