[논문 리뷰] GAIN: Missing Data Imputation using Generative Adversarial Nets

Jinsung Yoon, James Jordon외 1명|arXiv (Cornell University)|2018. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 525

한 줄 요약

GAIN은 힌트 메커니즘으로 적대적 학습을 통해 누락 데이터를 보간하는 Generative Adversarial Imputation Nets 프레임워크를 제시하며, 최첨단 보간 방법들을 능가한다.

ABSTRACT

We propose a novel method for imputing missing data by adapting the well-known Generative Adversarial Nets (GAN) framework. Accordingly, we call our method Generative Adversarial Imputation Nets (GAIN). The generator (G) observes some components of a real data vector, imputes the missing components conditioned on what is actually observed, and outputs a completed vector. The discriminator (D) then takes a completed vector and attempts to determine which components were actually observed and which were imputed. To ensure that D forces G to learn the desired distribution, we provide D with some additional information in the form of a hint vector. The hint reveals to D partial information about the missingness of the original sample, which is used by D to focus its attention on the imputation quality of particular components. This hint ensures that G does in fact learn to generate according to the true data distribution. We tested our method on various datasets and found that GAIN significantly outperforms state-of-the-art imputation methods.

연구 동기 및 목표

• 데이터셋에서 MCAR/MAR/MNAR 설정에 대한 누락 데이터 보간 개선의 동기를 부여한다.
• 완전히 관찰된 데이터 없이도 작동할 수 있는 GAN에서 영감을 받은 보간 모델을 개발한다.
• 제너레이터가 실제 데이터 분포를 학습하도록 힌트 메커니즘을 도입한다.
• 누락 값의 불확실성을 포착하기 위해 다중 보간을 가능하게 한다.

제안 방법

• 관측된 데이터를 조건으로 누락된 구성 요소를 채우도록 제너레이터를 두고 보간에 GAN을 확장한다.
• 완성된 벡터에서 어떤 구성 요소가 관측되었는지 아니면 보간되었는지 판단하는 판별기를 예측한다.
• 판별기에 누락 정보에 대한 부분 정보를 제공하는 힌트 벡터를 도입한다.
• 관찰된 구성 요소와 보간된 구성 요소를 식별하는 판별기의 정확도를 최대화하는 미니맥스 목표를 통해 학습한다.
• 두 가지 손실 구성요소를 사용한다: L_G는 보간된 부분에 대해 판별기를 속이고, L_M은 관찰된 부분을 실제 값에 가깝게 유지한다.
• G와 D를 완전 연결 신경망으로 모델링하고 미니 배치를 사용하여 판별기와 제너레이터 업데이트를 반복한다.

실험 결과

연구 질문

• RQ1 Does GAIN improve missing data imputation quality over state-of-the-art methods across diverse datasets?
• RQ2 How does the hint mechanism influence learning of the true data distribution and imputation performance?
• RQ3 Is GAIN robust to varying missing rates, sample sizes, and feature dimensions?
• RQ4 Does imputing data with GAIN lead to better downstream predictive performance after imputation?

주요 결과

알고리즘	Breast	Spam	Letter	Credit	News
GAIN	.0546 ± .0006	.0513 ± .0016	.1198 ± .0005	.1858 ± .0010	.1441 ± .0007
GAIN w/o L_G	.0701 ± .0021	.0676 ± .0029	.1344 ± .0012	.2436 ± .0012	.1612 ± .0024
L_G only	.?	?	?	?	?
MissForest	.0608 ± .0013	.0553 ± .0013	.1605 ± .0004	.1976 ± .0015	.1623 ± .012
MICE	.0646 ± .0028	.0699 ± .0010	.1537 ± .0006	.2585 ± .0011	.1763 ± .0007
Matrix	.0946 ± .0020	.0542 ± .0006	.1442 ± .0006	.2602 ± .0073	.2282 ± .0005
Auto-encoder	.0697 ± .0018	.0670 ± .0030	.1351 ± .0009	.2388 ± .0005	.1667 ± .0014
EM	.0634 ± .0021	.0712 ± .0012	.1563 ± .0012	.2604 ± .0015	.1912 ± .0011

• GAIN은 다수의 UCI 데이터셋(Breast, Spam, Letter, Credit, News)에서 RMSE 기준으로 MICE, MissForest, Matrix completion, Auto-encoder, EM보다 유의하게 더 높은 성능을 보인다.
• GAIN은 보간 후 예측 작업에서 AUROC가 더 높다.
• ablation 분석에서 L_G, L_M, 힌트 H를 포함하는 경우가 이 구성 요소가 없는 변형보다 상당한 이득을 준다(평균 RMSE 약 15% 개선, 힌트 추가로 약 10%).
• GAIN은 경쟁 방법에 비해 더 높은 누락 비율, 더 큰 특성 공간, 더 작은 샘플 크기에 대한 견고성을 보여준다.
• 친응성 분석은 보간 후 특징-라벨 관계를 다른 방법에 비해 더 잘 보존함을 보여준다.