[論文レビュー] Longitudinal Variational Autoencoder

Siddharth Ramchandran, Gleb Tikhonov+3 more|arXiv (Cornell University)|Jun 17, 2020

Gaussian Processes and Bayesian Inference参考文献 13被引用数 4

ひとこと要約

本稿では、欠損値を含む縦断的データから構造的で低次元の表現を学習するために、マルチアウトプット加法的ガウス過程事前分布を用いた深層生成モデル、Longitudinal Variational Autoencoder (L-VAE) を提案する。タイトなKLダイバージェンス上界を導出し、ミニバッチSGDトレーニングを可能にすることで、L-VAEは共有されたおよび被験者固有の時間的ダイナミクスを捉え、合成データおよび臨床データセット（最大80%の欠損値を含む）において、データ補完、再構成、長期予測の分野で最先端の手法を上回る性能を発揮する。

ABSTRACT

Longitudinal datasets measured repeatedly over time from individual subjects, arise in many biomedical, psychological, social, and other studies. A common approach to analyse high-dimensional data that contains missing values is to learn a low-dimensional representation using variational autoencoders (VAEs). However, standard VAEs assume that the learnt representations are i.i.d., and fail to capture the correlations between the data samples. We propose the Longitudinal VAE (L-VAE), that uses a multi-output additive Gaussian process (GP) prior to extend the VAE's capability to learn structured low-dimensional representations imposed by auxiliary covariate information, and derive a new KL divergence upper bound for such GPs. Our approach can simultaneously accommodate both time-varying shared and random effects, produce structured low-dimensional representations, disentangle effects of individual covariates or their interactions, and achieve highly accurate predictive performance. We compare our model against previous methods on synthetic as well as clinical datasets, and demonstrate the state-of-the-art performance in data imputation, reconstruction, and long-term prediction tasks.

研究の動機と目的

• 標準的なVAEが縦断的データセットにおける時間的相関関係と被験者固有のダイナミクスを捉えることの限界を解決すること。
• 加法的ガウス過程事前分布を用いて、構造的潜在空間のスケーラブルで効率的な推論手法を開発すること。
• 潜在空間における個々の共変量の効果とその相互作用の分離を可能にすること。
• 高次元の縦断的データにおけるデータ補完、再構成、長期予測の予測性能を向上させること。
• 時間以外の補助共変量（年齢、性別、臨床指標など）を組み込んだ生成モデルを提供すること。

提案手法

• L-VAEは、潜在空間内の構造的依存関係をモデル化するため、マルチアウトプット加法的ガウス過程（GP）事前分布を採用し、共有および個別的時間的ダイナミクスを捉える。
• 近似事後分布とGP事前分布の間のKLダイバージェンスに対する、新たなタイトな上界を導出し、変分推論の安定性と正確性を向上させる。
• 加法的GP共分散関数の構造を活用することで、ミニバッチ確率的勾配降下法（SGD）トレーニングを可能にし、大規模データセットへのスケーラビリティを向上させる。
• 年齢、性別、イベントまでの時間などの補助共変量に条件づけられた、滑らかに時間的に変化する低次元潜在表現を同時に学習する。
• バックプロパゲーションによるエンドツーエンドトレーニングをサポートし、デコーダーは潜在コードから観測データを再構成し、エンコーダーは事後分布を推論する。
• 生成モデルから計算された周辺対数尤度を活用し、死亡予測などの後続タスクにベイズ分類器を用いる。

実験結果

リサーチクエスチョン

• RQ1 補助共変量情報を取り入れることで、変分オートエンコーダーが欠損値を含む縦断的データにおける時間的相関関係を効果的にモデル化できるか？
• RQ2 加法的GP事前分布を用いることで、標準的なVAEと比較して、よりタイトで計算的に効率的な変分推論の上界が得られるか？
• RQ3 モデルは、高い再構成および予測精度を維持しながら、潜在空間における個々の共変量の効果とその相互作用を分離できるか？
• RQ4 実臨床データセット（高い欠損率を伴う）において、L-VAEはデータ補完、再構成、長期予測の分野で最先端の手法と比較して優れた性能を示すか？
• RQ5 前例のGPベースのVAEがフルエポックトレーニングを必要とするのに対し、L-VAEはミニバッチSGDを用いることで、大規模な縦断的データセットへの効率的スケーリングが可能か？

主な発見

• 80%の欠損値を含むPhysioNet Challenge 2012データセットにおいて、L-VAEは入院内死亡予測でAUROC 0.888を達成し、GP-VAE、BRITS、GRUI-GANを上回った。
• 潜在次元が32の場合、L-VAEは再構成タスクでMSE 0.025 ± 0.0015を達成し、GPPVAE（0.057 ± 0.003）とVRNN（0.049 ± 0.004）を上回った。
• モデルは、複雑な時間的ダイナミクスと被験者固有のパターンを捉える能力を示し、長期予測およびデータ補完において優れた性能を発揮した。
• 導出されたKLダイバージェンス上界は、Titsias（2009）の自由形式変分バインドよりも理論的にタイトであり、変分推論の品質を向上させた。
• 構造的加法的GP事前分布のおかげで、ミニバッチSGDトレーニングが成功裏に実装され、GPPVAEやGP-VAEがフルエポックトレーニングを必要とするのとは異なり、大規模データセットへの効率的スケーリングが可能になった。
• L-VAEは、年齢、性別、死亡までの時間などの補助共変量の効果を効果的に分離し、解釈可能で高精度な後続分類を可能にした。