[論文レビュー] MisGAN: Learning from Incomplete Data with Generative Adversarial Networks

Steven Cheng-Xian Li, Bo Jiang+1 more|arXiv (Cornell University)|Feb 25, 2019

Generative Adversarial Networks and Image Synthesis被引用数 59

ひとこと要約

MisGAN は incomplete data から完全なデータ分布を学ぶために、完全データ生成器とマスク生成器を共同でモデル化する GAN ベースのフレームワークを導入し、MCAR の下でデータ生成と欠損補完を可能にします。

ABSTRACT

Generative adversarial networks (GANs) have been shown to provide an effective way to model complex distributions and have obtained impressive results on various challenging tasks. However, typical GANs require fully-observed data during training. In this paper, we present a GAN-based framework for learning from complex, high-dimensional incomplete data. The proposed framework learns a complete data generator along with a mask generator that models the missing data distribution. We further demonstrate how to impute missing data by equipping our framework with an adversarially trained imputer. We evaluate the proposed framework using a series of experiments with several types of missing data processes under the missing completely at random assumption.

研究の動機と目的

• 欠損エントリがある場合の高次元データ分布の学習を動機づける。
• 欠損データプロセスと完全データ分布を個別にモデル化するデュアルGANフレームワークを提案する。
• データ生成器で訓練された対生成的欠損補完器を組み込み、欠損補完を可能にする。
• マスキング下での分布回復可能性に関する理論的洞察を提供し、画像データセットで経験的に検証する。

提案手法

• 欠損エントリを一定の tau で埋めるマスキング演算子 f_tau を定義する。
• マスク用の GAN ペア (G_m, D_m) と完全データ用の GAN ペア (G_x, D_x) を導入し、f_tau を用いたマスキング方式を組み込む。
• データとマスクの識別子に対して Wasserstein GAN の目的関数を用いて学習し、欠損がある実データと生成データのマスク付きデータを揃える結合項を導入する。
• 訓練中はマスク出力を [0,1]^n に緩和し、温度つきシグモイドを用いてほぼ二値マスクを促進する。
• 観測データとの整合性を強制することで欠損補完を行うため、G_i とその識別器 D_i をオプションで付加する。
• MisGAN の目的がMCARの下で同定性を保持することの理論的正当化を提供し、共同行トレーニングによる欠損補完を説明する。

実験結果

リサーチクエスチョン

• RQ1 MisGAN は MCAR の下で不完全なサンプルから基礎となる完全データ分布を回復できるか？
• RQ2 周囲型（アンビエント型）アプローチと比較して、マスク分布を明示的にモデル化することが学習の安定性と欠損補完の品質を改善するか？
• RQ3 様々な欠損パターンと欠損率を持つ高次元の画像データに対する MisGAN の性能はどうか？
• RQ4 観測データを尊重しつつ、現実的で妥当な欠損値を生成する欠損補完を MisGAN は提供できるか？

主な発見

• MisGAN は、生成されたマスク付きデータを実データのマスク付きデータに一致させることによって、極めて不完全なデータから高次元データ分布を学習する。
• MNIST、CIFAR-10、CelebA の実験で、MisGAN はさまざまな欠損パターンの下で FID で測定される欠損補完の品質においてベースラインを上回る。
• Conv-MisGAN は畳み込みの事前知識の恩恵を受ける一方、FC-MisGAN は高い欠損率でより苦戦し、事前構造の重要性を浮き彫りにする。
• マスク識別器は退化的な解を防ぎ、マスクモデリングを行わない AmbientGAN と比べて学習を安定化させる。
• 欠損補完の結果は、欠損補完器にノイズを注入することによって多様な妥当な完成を示しつつ、観測済みピクセルを保持する。
• 欠損補完器を用いて MisGAN を訓練すると、安定した性能と欠損補完の品質が、GAIN を含むいくつかのベースラインよりも向上する。