[論文レビュー] MIWAE: Deep Generative Modelling and Imputation of Incomplete Data

Pierre‐Alexandre Mattei, Jes Frellsen|arXiv (Cornell University)|Dec 6, 2018

Image Processing and 3D Reconstruction被引用数 6

ひとこと要約

MIWAEは、欠損値がランダムに欠落する（MAR）データに対して、計算コストの増加なしに重要度重み付きオートエンコーダー（IWAE）を拡張することで、不完全なデータに対する深層生成モデリング手法を提案する。UCIデータセットでは単一補完性能が最先端水準に達し、MNISTでは50%の画素が欠損している状況でも、完全データで学習したモデルと同等の性能を達成する複数補完を可能にする。

ABSTRACT

We consider the problem of handling missing data with deep latent variable models (DLVMs). First, we present a simple technique to train DLVMs when the training set contains missing-at-random data. Our approach, called MIWAE, is based on the importance-weighted autoencoder (IWAE), and maximises a potentially tight lower bound of the log-likelihood of the observed data. Compared to the original IWAE, our algorithm does not induce any additional computational overhead due to the missing data. We also develop Monte Carlo techniques for single and multiple imputation using a DLVM trained on an incomplete data set. We illustrate our approach by training a convolutional DLVM on a static binarisation of MNIST that contains 50% of missing pixels. Leveraging multiple imputation, a convolutional network trained on these incomplete digits has a test performance similar to one trained on complete data. On various continuous and binary data sets, we also show that MIWAE provides accurate single imputations, and is highly competitive with state-of-the-art methods.

研究の動機と目的

• 欠損値がランダムに発生する（MAR）メカニズムを有する不完全なデータセットに対して、スケーラブルかつ統計的に妥当な深層潜在変数モデル（DLVM）の学習手法を開発すること。
• 補完データを扱う際の変分推論の計算効率を維持し、オンライン学習およびスケーラビリティを実現すること。
• 訓練済みDLVMを用いて信頼性の高い単一および複数補完技術を提供し、補完値の不確実性を定量化すること。
• IWAEフレームワークを拡張し、観測データの対数尤度のタイトな下界を最大化することで、欠損データを扱えるようにすること。
• MIWAEが、多様なデータタイプにおいて、既存の最先端手法と比較して競争力あるか、あるいは優れた補完精度を達成することを実証すること。

提案手法

• 訓練中に欠損値をゼロ補完することで、重要度重み付きオートエンコーダー（IWAE）の目的関数を不完全なデータに適応する。
• MAR仮定の下で、観測データの対数尤度の下界を最大化し、K個の重要度重みを用いて下界をタイトにする。
• 単一および複数補完のための条件付き期待値を推定するために、L個の重要度重みを用いたモンテカルロサンプリングを採用する。
• エンコーダおよびデコーダにマルチレイヤーパーセプトロンを用い、変分および観測分布にスチューデントのt分布の積を用いる畳み込みDLVMアーキテクチャを採用する。
• 欠損データによる追加のオーバーヘッドを回避することで、標準的な変分推論のスケーラビリティを維持する。
• データセット間で同一のモデルアーキテクチャを適用し、固定された潜在次元（d=10）を用いることで、余分な次元の自動削除が可能になる。

実験結果

リサーチクエスチョン

• RQ1 IWAEフレームワークは、計算コストの増加なしに、深層生成モデルにおける欠損データを扱えるように拡張可能か？
• RQ2 MIWAEは、既存の手法と比較して、不完全なデータにおけるよりタイトな尤度下界とより高精度な補完を達成するか？
• RQ3 MIWAEを用いた複数補完は、完全データで学習したモデルと同等のテスト性能を達成できるか？
• RQ4 MIWAEは、連続的およびバイナリのUCIデータセットにおいて、missForest、k-NN、PCAといった最先端の補完手法と比較してどのように性能を発揮するか？
• RQ5 重要度重みの数（K）を増加させることで、MIWAEの補完精度はどの程度向上するか？

主な発見

• MIWAEは連続的UCIデータセットにおける単一補完性能で最先端水準に達し、Banknoteデータセットでは平均二乗誤差（MSE）が0.446を記録。これはMVAE（0.593）、missForest（0.676）、k-NN（0.744）を上回る。
• MNISTデータセットで50%の画素が欠損している状況において、MIWAEで学習した畳み込みDLVMと複数補完を用いることで、完全データで学習したモデルと同等のテスト性能を達成した。
• 重要度重みの数をK=1（MVAE）からK=20に増加させることで、補完精度が顕著に向上し、よりタイトな尤度下界の利点が実証された。
• MIWAEは、すべてのテスト済みUCIデータセットにおいて、PCA（BanknoteのMSE 0.682）、平均値補完（MSE 1.02）、k-NN（MSE 0.744）を上回った。
• 計算効率とスケーラビリティを維持し、追加のオーバーヘッドなしに、不完全なデータに対するオンライン学習を可能にした。
• MIWAEは、特に高次元で複雑な分布を示す欠損値を有するデータの処理において、最先端の手法と競合する優れた性能を発揮した。