[論文レビュー] Learning Conditional Variational Autoencoders with Missing Covariates

Siddharth Ramchandran, Gleb Tikhonov+3 more|arXiv (Cornell University)|Mar 2, 2022

Machine Learning in Healthcare被引用数 4

ひとこと要約

本稿では、補助共変数に欠損値が存在する状況において、条件付き変分オートエンコーダー（CVAE）を訓練するための新規手法を提案する。この手法は、欠損共変数の不確実性を周辺化しつつ、下界の尤度（ELBO）を最大化するアモアタイズド変分推論フレームワークを導入している。このアプローチにより、時系列的でない、時系列的、縦断的データセットにおいて、欠損共変数データが存在する状況下でも、生成および補完タスクで最先端の性能を達成するCVAEおよびGP事前分布を有するVAEの有効な学習が可能となる。

ABSTRACT

Conditional variational autoencoders (CVAEs) are versatile deep generative models that extend the standard VAE framework by conditioning the generative model with auxiliary covariates. The original CVAE model assumes that the data samples are independent, whereas more recent conditional VAE models, such as the Gaussian process (GP) prior VAEs, can account for complex correlation structures across all data samples. While several methods have been proposed to learn standard VAEs from partially observed datasets, these methods fall short for conditional VAEs. In this work, we propose a method to learn conditional VAEs from datasets in which auxiliary covariates can contain missing values as well. The proposed method augments the conditional VAEs with a prior distribution for the missing covariates and estimates their posterior using amortised variational inference. At training time, our method marginalises the uncertainty associated with the missing covariates while simultaneously maximising the evidence lower bound. We develop computationally efficient methods to learn CVAEs and GP prior VAEs that are compatible with mini-batching. Our experiments on simulated datasets as well as on a clinical trial study show that the proposed method outperforms previous methods in learning conditional VAEs from non-temporal, temporal, and longitudinal datasets.

研究の動機と目的

• 補助共変数に欠損値が存在する状況における条件付きVAE学習のギャップを解消すること。現行の手法では、この状況を適切に扱えない。
• CVAE構造内において、欠損共変数と観測データを同時に確率的モデリングするフレームワークの構築。
• アモアタイズド推論を用いて、欠損共変数を伴うCVAEおよびGP事前分布VAEの効率的かつミニバッチ対応の訓練を可能にすること。
• 縦断的および臨床的データセットを含む多様なデータタイプにおいて、表現学習およびデータ補完の分野で優れた性能を示すこと。

提案手法

• 潜在変数と欠損共変数の上での結合変分後確率分布を導入し、欠損データを伴うエンドツーエンドの訓練を可能にする。
• 各サンプルの最適化を回避するため、欠損共変数の後確率分布を近似するためにアモアタイズド変分推論を用いる。
• モンテカルロ近似を用いて、欠損共変数の不確実性を周辺化し、下界の尤度（ELBO）を最大化する。
• GP事前分布VAEの場合、ガウス過程事前分布を含むKLダイバージェンス項の計算的に効率的で、ミニバッチ対応の近似を導出する。
• 欠損共変数推定をエンコーダ・デコーダアーキテクチャに統合し、表現学習と補完の両方を同時に最適化可能にする。
• KLダイバージェンス項のための新しい不偏推定量を導出し、患者データの近似的な分割を用いて、ミニバッチによる安定した訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 補助共変数に欠損値が存在する状況でも、完全に観測可能であると仮定せずに、条件付きVAEを効果的に訓練できるか？
• RQ2 モデル一般化を向上させるために、学習中に欠損共変数の不確実性を適切に周辺化する方法は何か？
• RQ3 提案手法は、欠損共変数を伴う部分観測データからの学習において、既存のVAEベースの手法を上回る性能を示すか？
• RQ4 特にGP事前分布VAEにおいて、ミニバッチを用いて大規模データセットに効率的にスケーリングできるか？
• RQ5 非時系列的、時系列的、縦断的データにおいて、本手法は実現可能なサンプルの生成および欠損値の補完において、どの程度の性能を発揮するか？

主な発見

• 提案手法は、補助共変数に欠損値が存在するデータセットにおいて、CVAEおよびGP事前分布VAEの学習で最先端の性能を達成しており、生成および補完タスクの両方で先行手法を上回っている。
• 時系列的でないデジットデータのシミュレーションデータセットにおいて、回転、平行移動、コントラスト調整が施されたデジットの正確な再構成と生成が、欠損共変数が存在する中でも的確に達成された。
• 臨床試験研究において、出力データの測定値のうち25.01％しか観測されておらず、補助共変数に5％～40％の人工的な欠損値が導入された状況でも、本手法はあらゆる欠損度合いにおいて安定した性能を示した。
• KLダイバージェンス項の不偏推定量を導出し、大規模データに対する効率的な最適化を可能にするミニバッチによる安定した訓練が実現された。
• 特に縦断的および複雑な相関構造を持つデータにおいて、欠損値をゼロで埋めたりヒューリスティック補完を用いたベースラインVAEと比較して、本手法は顕著に優れた性能を発揮した。
• アブレーションスタディの結果、欠損共変数の不確実性を周辺化することで、単純な補完戦略に比べてより良い一般化性能とより正確な後確率推定が達成されたことが確認された。