[論文レビュー] VAEs in the Presence of Missing Data

Mark Collier, Alfredo Nazábal+1 more|arXiv (Cornell University)|Jun 9, 2020

Energy Load and Power Forecasting参考文献 20被引用数 10

ひとこと要約

本稿では、欠損データを汚損プロセスとしてモデル化する新しいVAEフレームワークを提案する。これにより、エンコーダーとデコーダーの両方に欠損インジケータを組み込むことで、MCARおよびMNARデータの両方を原理的かつ効果的に処理できる。MNISTおよびSVHNにおいて、従来の手法に比べてより高い周辺尤度とより優れた補完性能を達成した。

ABSTRACT

Real world datasets often contain entries with missing elements e.g. in a medical dataset, a patient is unlikely to have taken all possible diagnostic tests. Variational Autoencoders (VAEs) are popular generative models often used for unsupervised learning. Despite their widespread use it is unclear how best to apply VAEs to datasets with missing data. We develop a novel latent variable model of a corruption process which generates missing data, and derive a corresponding tractable evidence lower bound (ELBO). Our model is straightforward to implement, can handle both missing completely at random (MCAR) and missing not at random (MNAR) data, scales to high dimensional inputs and gives both the VAE encoder and decoder principled access to indicator variables for whether a data element is missing or not. On the MNIST and SVHN datasets we demonstrate improved marginal log-likelihood of observed data and better missing data imputation, compared to existing approaches.

研究の動機と目的

• 既存のVAE手法が高次元設定において欠損データを処理する点で抱える限界を解消すること。
• 欠損データの生成を汚損プロセスとしてモデル化する生成モデルを構築し、推論を容易にすること。
• アーキテクチャの制限なしに、エンコーダーとデコーダーの両方が欠損インジケータ（m）にアクセスできるようにすること。
• MCARおよびMNARの両仮定下で、観測データの確率的モデリングと欠損データの補完性能を向上させること。

提案手法

• 欠損データが汚損プロセスを介して生成される潜在変数モデルを導入し、観測済み（1）および欠損（0）要素を示すバイナリマスクベクトルmを用いる。
• 観測データの下での対数尤度 log p(x_o|m) に対して、計算可能な下界（ELBO）を導出することで、欠損データ下でのVAEのエンドツーエンド学習を可能にする。
• エンコーダーとデコーダーを、欠損状態（m）に条件づけるように変更し、両ネットワークがどの入力が欠損しているかを推論できるようにする。
• 生成モデル p(x|m, z) と推論モデル q(z|x̃, m) を統合的に最適化する条件付きVAEフレームワークを採用する。
• テストセットにおける周辺尤度と補完品質の推定に、重要度サンプリング（256サンプル）を用いる。
• 欠損の原因をランダムまたは無視可能であると仮定するのではなく、潜在的なメカニズムとして汚損プロセスをモデル化することで、MCARおよびMNAR両方の欠損をサポートする。

実験結果

リサーチクエスチョン

• RQ1 高次元入力における欠損データ処理に特化したVAEを、アーキテクチャの制限なしに効果的に適合できるか？
• RQ2 デコーダーが欠損インジケータ（m）にアクセスすることで、モデル性能と補完品質にどのような影響を与えるか？
• RQ3 統一された汚損プロセスの生成モデルが、MCARおよびMNAR両方の欠損を原理的かつ一貫して処理できるか？
• RQ4 周辺尤度と補完精度の観点から、本手法は既存の手法と比較してどのように優れているか？
• RQ5 マスクmに条件づけることで、汚損入力における曖昧な画像パターンの解釈が向上するか？

主な発見

• エンコーダーとデコーダーの両方が欠損マスクmにアクセスするED Ind.手法は、MCARおよびMNAR設定下でMNISTおよびSVHNの両方において、No Ind.ベースラインに比べて顕著に高い周辺尤度を達成した。
• エンコーダーのみがmにアクセスするEO Ind.バージョンはNo Ind.より性能が向上したが、ED Ind.バージョンは補完品質において統計的に有意な向上を示した。
• 可視化結果から、ED Ind.は欠損マスクの完全な構造を活用することで、曖昧な数字（例：7 vs. 9、2 vs. 1）の再構成がより正確に行われていることが示された。
• Paired t検定により、60個のランダムシードで統計的に有意な差が確認された。本手法はNazabalら（2018）の手法に比べ、尤度と補完指標の両方で優れた性能を示した。
• MNISTおよびSVHNのような高次元入力に対しても、マスクの組み込みに起因する計算オーバーヘッドはほとんどなく、効果的なスケーリングが可能である。
• アブレーションスタディの結果、デコーダーがmにアクセスすることで補完性能が向上し、エンコーダー単体のアクセスよりも顕著な改善が得られた。ただし、尤度の向上はわずかではあるが一貫していた。