[論文レビュー] A Variational Autoencoder for Heterogeneous Temporal and Longitudinal Data

Mine Öğretir, Siddharth Ramchandran+2 more|arXiv (Cornell University)|Apr 20, 2022

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、連続的、カウント、カテゴリカル、順序的縦断的データを一括してモデル化するための、マルチアウトプット加法ガウス過程事前分布と柔軟な尤度関数を用いた深層生成モデル、Heterogeneous Longitudinal Variational Autoencoder (HL-VAE) を提案する。このモデルは、欠損値の補完と未観測時刻の予測に対して効率的かつエンドツーエンドの推論を可能にし、シミュレートデータおよび臨床データセットにおいて、従来手法を上回る性能を示した。

ABSTRACT

The variational autoencoder (VAE) is a popular deep latent variable model used to analyse high-dimensional datasets by learning a low-dimensional latent representation of the data. It simultaneously learns a generative model and an inference network to perform approximate posterior inference. Recently proposed extensions to VAEs that can handle temporal and longitudinal data have applications in healthcare, behavioural modelling, and predictive maintenance. However, these extensions do not account for heterogeneous data (i.e., data comprising of continuous and discrete attributes), which is common in many real-life applications. In this work, we propose the heterogeneous longitudinal VAE (HL-VAE) that extends the existing temporal and longitudinal VAEs to heterogeneous data. HL-VAE provides efficient inference for high-dimensional datasets and includes likelihood models for continuous, count, categorical, and ordinal data while accounting for missing observations. We demonstrate our model's efficacy through simulated as well as clinical datasets, and show that our proposed model achieves competitive performance in missing value imputation and predictive accuracy.

研究の動機と目的

• 連続的、カウント、カテゴリカル、順序的変数といった異種データ型を同時に扱えない既存の変分オートエンコーダーのギャップを埋めること。
• 欠損が完全にランダムである状況においても、時刻および被験者間の時間的相関を適切にモデル化できるようにすること。
• 時間的要因や被験者固有要因（例：時間、性別、疾患状態）といった補助的共変量を含む、高次元で現実世界のデータセットに対しても効率的な推論を可能にすること。
• 異なるデータ型に適切な尤度モデルを割り当てることで、補完および予測タスクの性能が著しく向上することを示すこと。

提案手法

• HL-VAEは、時刻および被験者間の潜在変数の構造的ダイナミクスをモデル化するため、マルチアウトプット加法ガウス過程事前分布を用いる。これにより、潜在埋め込み同士の相関関係を捉えることができる。
• 連続的データにはガウス尤度、カウントデータにはポisson尤度、離散的データにはカテゴリカルロジット尤度、順序的カテゴリカルデータには順序ロジット尤度をそれぞれ別々に適用する、深層ニューラルネットワークベースのデコーダーを採用する。
• 推論ネットワークはアモルタイズド変分推論を実行し、確率的勾配降下法を用いて潜在変数の事後分布を近似する。
• ガウス過程事前分布を介して補助的共変量（例：時間、性別、疾患状態）を潜在空間に統合することで、条件付き生成とより良い表現学習を可能にする。
• 訓練および推論時に未観測値を周辺化することで、欠損データをサポートする。各尤度関数に特化した尤度関数を用いる。
• バックプロパゲーションによるエンドツーエンドの学習をサポートし、高次元データセットにおけるスケーラブルな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダーは、連続的、カウント、カテゴリカル、順序的といった異種データ型を併存させる縦断的データを、欠損値を含めて効果的にモデル化できるか？
• RQ2 異なるデータ型に適切な尤度モデルを組み込むことで、縦断的状況下での補完および予測性能にどのような影響を与えるか？
• RQ3 マルチアウトプット加法ガウス過程事前分布を用いることで、独立した潜在表現と比較して、時間的および被験者間相関のモデル化が改善されるか？
• RQ4 実世界の臨床データにおいて、HL-VAEは既存のVAEおよびベースライン手法を、欠損値補完および長期予測の両タスクで上回るか？
• RQ5 欠損率の上昇やデータの異種性が増す状況下でも、HL-VAEの性能はどのようにスケーリングするか？

主な発見

• 50%の欠損率を示すPPMIデータセットにおいて、HL-VAEは数値予測の正規化平均二乗誤差（NRMSE）を 0.091 ± 0.003 まで低下させ、L-VAEに比べて誤差が低く、欠損率上昇に伴う性能低下も緩やかであった。
• カテゴリカルデータでは、HL-VAEは 0.085 ± 0.001 の正解誤差を達成し、他の競合モデルを著しく上回った。これは、カテゴリカル変数を明示的にモデル化することの利点を示している。
• 順序的予測においては、HL-VAEは 0.085 ± 0.001 のディスプレースメント誤差を示し、ベースライン手法に比べて高いロバスト性と精度を示した。
• 欠損率が上昇する中でも、HL-VAEは安定した性能を維持し、L-VAEと比較して予測の対数尤度の低下が遅かった。これは、データが不足する状況下でも一般化性能に優れていることを示している。
• 訓練プロセスにカテゴリカル特徴量を組み込むことで、連続的特徴量の予測性能が向上した。これは、異種データの統合的モデリングの利点を示している。
• HL-VAEは、シミュレートデータおよび実臨床データセットの両方で、補完および長期予測タスクにおいて競争力のある性能を達成し、すべてのデータ型で最良の結果を出した。