[論文レビュー] not-MIWAE: Deep Generative Modelling with Missing not at Random Data

Niels Bruun Ipsen, Pierre‐Alexandre Mattei+1 more|arXiv (Cornell University)|Jun 23, 2020

Bayesian Methods and Mixture Models参考文献 92被引用数 21

ひとこと要約

この論文では、変分オートエンコーダーの枠組みに学習可能な欠損メカニズムを統合することで、欠損が非ランダム（MNAR）なデータを明示的にモデル化する、not-MIWAEと呼ばれる深層生成モデルを提案する。潜在空間およびデータ空間の両方で再パラメータ化された確率的勾配を用いることで、偏りのない検証データを必要とせずに、MNARデータにおいて最先端の補完性能を達成し、感受性スコアに基づく手法を上回る。

ABSTRACT

When a missing process depends on the missing values themselves, it needs to be explicitly modelled and taken into account while doing likelihood-based inference. We present an approach for building and fitting deep latent variable models (DLVMs) in cases where the missing process is dependent on the missing data. Specifically, a deep neural network enables us to flexibly model the conditional distribution of the missingness pattern given the data. This allows for incorporating prior information about the type of missingness (e.g. self-censoring) into the model. Our inference technique, based on importance-weighted variational inference, involves maximising a lower bound of the joint likelihood. Stochastic gradients of the bound are obtained by using the reparameterisation trick both in latent space and data space. We show on various kinds of data sets and missingness patterns that explicitly modelling the missing process can be invaluable.

研究の動機と目的

• 欠損が観測されない値に依存する（MNAR）場合に生じる欠損データの課題に対処すること（これは標準的なMAR/MCAR仮定を無効にする）。
• データ分布と欠損プロセスを同時に学習する深層潜在変数モデルを開発し、MNAR下での正確な推論を可能にすること。
• 推薦システム、画像クリッピング、および遮断されたデータセットなど、欠損が無視できない実世界のシナリオにおける補完精度の向上。
• 感受性推定のための外部の偏りのないデータに依存しないようにし、欠損モデルを直接データから学習すること。
• 深層ニューラルネットワークを用いた欠損モデルにより、複雑な欠損パターンの柔軟なモデリングを可能にすること。

提案手法

• モデルはMIWAEフレームワークを拡張し、観測されたデータから欠損パターンへマッピングする学習可能な欠損モデル $ p_{\phi}(\mathbf{s}|\mathbf{x}) $ を導入する。
• 重要度重み付き変分推論を用いて、観測データと欠損パターンの同時尤度の下界を最大化する。
• 潜在空間（$ \mathbf{z} $）およびデータ空間（$ \mathbf{x} $）の両方で再パラメータ化トリックを用いて確率的勾配を取得し、エンドツーエンドの学習を可能にする。
• カテゴリカルデータの場合は、データ空間における微分可能なサンプリングを可能にするために、温度0.5のGumbel-Softmaxトリックを適用する。
• 欠損モデルは各特徴量ごとにロジスティック回帰として実装され、共有重みと個別バイアスを有し、特徴量固有の欠損傾向を捉える。
• ガウス分布およびカテゴリカル分布の観測モデルをサポートしており、データタイプに応じた柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルが、MNARメカニズム下でデータ分布と欠損分布を共同で学習することで、補完性能を向上させられるか？
• RQ2 ニューラルネットワークを用いて欠損プロセスを明示的にモデル化することで、MARまたはMCARを仮定する場合よりも性能が向上するか？
• RQ3 感受性推定のための偏りのない（MCAR）データへのアクセスを必要とせずに、not-MIWAEが最先端の補完結果を達成できるか？
• RQ4 自己遮断、画像クリッピング、および推薦システムにおける選択バイアスなど、多様なMNARパターンにおいて、モデルの性能はいかがなものか？
• RQ5 欠損メカニズムに関する事前知識をモデルのアーキテクチャに組み込むことで、性能にどのような影響を与えるか？

主な発見

• not-MIWAEは、MNARデータで学習した際、MCARテストセットにおいて平均二乗誤差（MSE）0.939 ± 0.007を達成し、感受性スコアを使用する手法を含むすべてのベースラインを上回った。
• ヒストограмの比較から、not-MIWAEの補完された分布はMCARテストセットの真の周辺分布に近く、MIWAEとは異なり偏りのない補完を実現した。
• not-MIWAEはカテゴリカル観測モデルを備えたMIWAE（MSE: 2.067 ± 0.004）を著しく上回り、MNARを明示的にモデル化しているが性能が劣るMF-MNARモデル（MSE: 2.199）に対しても上回った。
• 感受性推定のための別個のMCARデータセットを必要としないため、MF-IPS や MF-DR-JL などのモデルとは異なり、not-MIWAEは最先端の性能を達成した。
• 潜在空間およびデータ空間の両方で再パラメータ化された勾配を用いることで、安定的かつ効率的な学習が可能となり、同時尤度のエンドツーエンド最適化にとって不可欠であった。
• 同定されたUCIデータの遮断、画像クリッピング、選択バイアスのある推薦システムなど、多様なMNARシナリオにおいて、モデルは高いロバスト性を示した。