[論文レビュー] GAIN: Missing Data Imputation using Generative Adversarial Nets

Jinsung Yoon, James Jordon+1 more|arXiv (Cornell University)|Jun 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 525

ひとこと要約

GAINは、Hint機構を用いて生成器と識別器を敵対的に訓練するGenerative Adversarial Imputation Netsフレームワークを提案し、欠損データの補完を行い、最先端の欠損値補完法を上回ります。

ABSTRACT

We propose a novel method for imputing missing data by adapting the well-known Generative Adversarial Nets (GAN) framework. Accordingly, we call our method Generative Adversarial Imputation Nets (GAIN). The generator (G) observes some components of a real data vector, imputes the missing components conditioned on what is actually observed, and outputs a completed vector. The discriminator (D) then takes a completed vector and attempts to determine which components were actually observed and which were imputed. To ensure that D forces G to learn the desired distribution, we provide D with some additional information in the form of a hint vector. The hint reveals to D partial information about the missingness of the original sample, which is used by D to focus its attention on the imputation quality of particular components. This hint ensures that G does in fact learn to generate according to the true data distribution. We tested our method on various datasets and found that GAIN significantly outperforms state-of-the-art imputation methods.

研究の動機と目的

• MCAR/MAR/MNAR設定を含むデータセットに対する欠損データ補完の改善を動機づける。
• 完全に観測されたデータなしでも動作可能なGAN風補完モデルを開発する。
• ジェネレーターが真のデータ分布を学習するようヒント機構を導入する。
• 欠損値の不確実性を捉えるために複数の補完を可能にする。

提案手法

• 観測データを条件として欠損成分を埋めるジェネレーターを持つことでGANを補完へ拡張する。
• 判別器は完成ベクトルに対してどの成分が観測されたものか補完されたものかを予測する。
• 欠損情報について判別器へ部分情報を提供するヒントベクトルを導入する。
• 補完された成分を識別器が観測されたか補完されたかを識別する精度を最大化するミニマックス目的で訓練する。
• 2つの損失成分を用いる：L_Gは補完部分を識別器を惑わせること、L_Mは観測部分を実値に近づけること。
• GとDを完全結合ニューラルネットワークとしてモデル化し、ミニバッチで識別器と生成器の更新を反復する。

実験結果

リサーチクエスチョン

• RQ1 GAINは多様なデータセットにおいて最先端の方法を超える欠損データ補完品質を向上させるか。
• RQ2 ヒント機構は真のデータ分布の学習と補完性能にどのように影響するか。
• RQ3 欠損率、サンプルサイズ、特徴次元が変動してもGAINは頑健か。
• RQ4 GAINでデータを補完した後、下流の予測性能は補完後に向上するか。

主な発見

アルゴリズム	Breast	Spam	Letter	Credit	News
GAIN	.0546 ± .0006	.0513 ± .0016	.1198 ± .0005	.1858 ± .0010	.1441 ± .0007
GAIN w/o L_G	.0701 ± .0021	.0676 ± .0029	.1344 ± .0012	.2436 ± .0012	.1612 ± .0024
L_G only	.?	?	?	?	?
MissForest	.0608 ± .0013	.0553 ± .0013	.1605 ± .0004	.1976 ± .0015	.1623 ± .012
MICE	.0646 ± .0028	.0699 ± .0010	.1537 ± .0006	.2585 ± .0011	.1763 ± .0007
Matrix	.0946 ± .0020	.0542 ± .0006	.1442 ± .0006	.2602 ± .0073	.2282 ± .0005
Auto-encoder	.0697 ± .0018	.0670 ± .0030	.1351 ± .0009	.2388 ± .0005	.1667 ± .0014
EM	.0634 ± .0021	.0712 ± .0012	.1563 ± .0012	.2604 ± .0015	.1912 ± .0011

• GAINは複数のUCIデータセット（Breast, Spam, Letter, Credit, News）におけるRMSEでMICE、MissForest、Matrix completion、Auto-encoder、EMを有意に上回る。
• 補完後の予測タスクにおいて複数データセットでより高いAUROCを達成する。
• アブレーション分析ではL_G、L_M、およびヒントHを組み込むことで、これらの要素を欠く変種より大幅な改善をもたらし、平均で最大約15%のRMSE改善、ヒントの追加で約10%の改善。
• GAINはより高い欠損率、より大きな特徴空間、より小さなサンプルサイズに対して競合手法より頑健である。
• Congeniality分析は、補完後の特徴とラベルの関係を他の手法より良く保持することを示す。