[論文レビュー] Identifiable Generative Models for Missing Not at Random Data Imputation

Chao Ma, Cheng Zhang|arXiv (Cornell University)|Oct 27, 2021

Bayesian Methods and Mixture Models参考文献 58被引用数 12

ひとこと要約

本稿では、理論的同定可能性の保証を持つ、欠損が完全にランダムでない（MNAR）データ向けの深層生成補完モデル、GINAを提案する。変分オートエンコーダーの枠組みを用いて欠損メカニズムを明示的にモデル化することで、弱い仮定のもとでモデルパラメータが一意に回復可能であることを保証し、偏りのない補完を実現する。本手法は、合成データおよび実世界のMNARデータセットにおいて、既存手法を上回る性能を示し、補完精度および下流タスクの性能向上が一貫して得られている。

ABSTRACT

Real-world datasets often have missing values associated with complex generative processes, where the cause of the missingness may not be fully observed. This is known as missing not at random (MNAR) data. However, many imputation methods do not take into account the missingness mechanism, resulting in biased imputation values when MNAR data is present. Although there are a few methods that have considered the MNAR scenario, their model's identifiability under MNAR is generally not guaranteed. That is, model parameters can not be uniquely determined even with infinite data samples, hence the imputation results given by such models can still be biased. This issue is especially overlooked by many modern deep generative models. In this work, we fill in this gap by systematically analyzing the identifiability of generative models under MNAR. Furthermore, we propose a practical deep generative model which can provide identifiability guarantees under mild assumptions, for a wide range of MNAR mechanisms. Our method demonstrates a clear advantage for tasks on both synthetic data and multiple real-world scenarios with MNAR data.

研究の動機と目的

• 既存のMNARデータ向け深層生成モデルが同定可能性を欠き、結果として偏りのある補完を生じがちなという、重要なギャップを埋める。
• さまざまなMNARメカニズム下での生成モデルの同定可能性について理論的分析を行い、最尤推定による一意なパラメータ回復の十分条件を確立する。
• 弱い仮定のもとで同定可能性を保証する実用的でスケーラブルな深層生成モデル—GINA—を構築し、現実世界のMNARシナリオにおける信頼性と偏りのない補完を可能にする。
• 合成データ、実世界のデータセット、および欠損データ下でのアクティブ特徴選択などの下流タスクにおいて、GINAの有効性を実証する。

提案手法

• データ分布 $ p_{\theta}(X) $ と欠損メカニズム $ p_{\lambda}(R|X) $ を同時にモデル化する変分オートエンコーダーに基づくフレームワークを提案し、両者の同時推定を可能にする。
• 観測データの尤度を最大化するとともに、マスク変数 $ R $ を通じて欠損パターンを考慮する尤度目的関数 $ \mathcal{L}_{K}(\theta,\lambda,\phi,X_{o},R) $ を導入する。
• 欠損メカニズムを明示的にモデル化することで同定可能性を保証し、異なるパラメータ設定が異なる観測データ分布を生じさせることで、定義2.1を満たす。
• 真の事後分布 $ p_{\theta,\lambda}(Z|X_{o}) $ を近似するための推論ネットワーク $ q_{\phi}(Z|X_{o}) $ を用い、表現力と正しいモデル仕様のもとで一貫性が証明される。
• 潜在空間を活用してKLダイバージェンス近似により情報利得を効率的に推定することで、アクティブな質問選択などの下流タスクに応用する。
• 潜在空間におけるKLダイバージェンス近似に基づく情報報酬の高速近似を適用：$ R(i|X_{O}) \approx \mathbb{E}_{X_{i}} D_{KL}[q(Z|X_{i},X_{O})||q(Z|X_{O})] - \mathbb{E}_{X_{\phi},X_{i}} D_{KL}[q(Z|X_{\phi},X_{i},X_{O})||q(Z|X_{\phi},X_{O})] $。

実験結果

リサーチクエスチョン

• RQ1 無限データのもとで、深層生成モデルがMNAR欠損に対して同定可能である条件は何か？ これにより、真のパラメータが一意に回復可能であるか？
• RQ2 欠損メカニズムが複雑かつ観測不能な場合に、柔軟な深層生成モデルで同定可能性をどのように維持できるか？
• RQ3 多様な現実世界のデータ環境において、同定可能性と高い性能の両立を達成できる実用的な深層生成モデルを設計可能か？
• RQ4 MNAR条件下での補完精度および下流タスク性能の観点から、本手法は既存手法と比較してどのように優れているか？

主な発見

• GINAは、さまざまなMNARメカニズムを有する合成データセットにおいて、散布図が真値のKDE密度推定と密接に一致するなど、一貫した偏りのない補完を達成している。
• Eedi や UCI データセットなど、MNARパターンを有する実世界データセットにおいて、GINAはPVAE や Not-MIWAE などのベースライン手法をNRMSEおよびMAEの両指標で上回っている。
• アクティブ特徴選択においても優れた性能を示し、潜在空間におけるKLダイバージェンス近似により、情報量の多い特徴を高い情報利得で選択している。
• 理論的一貫性が確立された：正しいモデル仕様と表現力のある推論ネットワークのもとで、GINAは無限データの極限において真のパラメータ $ \theta^* $ と $ \lambda^* $ を同値関係 $ \sim_A $ に関して一意に回復する。
• 実験的結果から、GINAは欠損メカニズムが複雑で無視できない場合でも、標準的なVAE や同定可能性を欠くモデルが偏りを生じるのとは異なり、強固な性能を維持していることが示された。
• アブレーションスタディにより、欠損メカニズムの明示的モデル化が同定可能性および性能にとって不可欠であることが確認され、これを排除すると補完品質が著しく低下した。