[논문 리뷰] MisGAN: Learning from Incomplete Data with Generative Adversarial Networks

Steven Cheng-Xian Li, Bo Jiang외 1명|arXiv (Cornell University)|2019. 02. 25.

Generative Adversarial Networks and Image Synthesis인용 수 72

한 줄 요약

MisGAN은 누락 데이터를 다루기 위해 마스크 생성기와 함께 완전한 데이터 분포를 학습하는 GAN 프레임워크를 도입한다. 이는 MCAR 하에서 고품질 데이터 생성 및 임퓨테이션을 가능하게 한다. 마스크와 데이터를 위한 이중 GAN을 사용하며, 누락 데이터 재구성을 위한 선택적 임퓨터를 포함한다.

ABSTRACT

Generative adversarial networks (GANs) have been shown to provide an effective way to model complex distributions and have obtained impressive results on various challenging tasks. However, typical GANs require fully-observed data during training. In this paper, we present a GAN-based framework for learning from complex, high-dimensional incomplete data. The proposed framework learns a complete data generator along with a mask generator that models the missing data distribution. We further demonstrate how to impute missing data by equipping our framework with an adversarially trained imputer. We evaluate the proposed framework using a series of experiments with several types of missing data processes under the missing completely at random assumption.

연구 동기 및 목표

• 데이터가 불완전하게 관찰될 때 고차원 데이터 분포를 학습하도록 동기를 부여한다.
• 마스크 생성을 통해 완전한 데이터와 누락 정보를 공동으로 모델링하는 GAN 기반 프레임워크를 제안한다.
• MisGAN 프레임워크에 적대적 임퓨터를 통합하여 데이터 임퓨테이션을 가능하게 한다.
• MCAR 누락 패턴 하에서 고차원 이미지 데이터에 대한 효과를 입증한다.

제안 방법

• 상수 tau로 누락된 엔트리를 채우는 마스킹 연산자 f_tau를 정의한다.
• 마스크용 (G_m, D_m)과 데이터용 (G_x, D_x)의 두 개의 GAN 쌍을 도입하고 Wasserstein GAN 목적 하에 학습한다.
• 생성된 완전한 데이터를 f_tau로 마스킹하고, D_x를 실제 데이터와 마스킹된 생성 데이터를 구별하도록 학습시킨다.
• 실제 마스크 분포와 일치하도록 G_m을 학습시키고, L_x와 L_m 손실을 사용하여 마스킹된 데이터가 실제 불완전한 데이터와 일치하도록 함께 최적화한다.
• 선택적으로 적대적 학습을 통해 데이터 임퓨테이션을 수행하기 위해 임퓨터 G_i 및 대응하는 판별기 D_i를 추가하고, L_i와 L_x를 포함하는 결합 목적식을 사용한다.
• 이론적 결과는 마스킹 접근법을 정당화한다: MCAR 하에서 완전한 데이터 분포의 회복은 채워진 구체적인 값에 의존하지 않으며, 학습 목적은 마스크에 조건화된 주변 분포와 일치한다.

실험 결과

연구 질문

• RQ1 MisGAN은 MCAR 하에서 불완전한 관찰로부터 기저의 완전한 데이터 분포를 회복할 수 있는가?
• RQ2 채워진 값의 특정 선택이나 누락 값 위치에 대한 지식이 회복 가능성에 영향을 미치는가?
• RQ3 프레임워크를 확장하여 누락 데이터에 대한 고품질 임퓨테이션을 수행할 수 있는가?
• RQ4 마스크 판별기를 도입하는 것이 AmbientGAN과 비교하여 비정상적 해를 피하고 학습 가능성을 높이는 데 도움이 되는가?
• RQ5 다양한 MCAR 유사 누락 패턴에서 표준 이미지 데이터 세트에 대해 MisGAN의 성능은 어떠한가?

주요 결과

• MisGAN은 완전한 데이터 분포와 마스크 분포를 동시에 학습하여 불완전한 데이터로부터의 생성을 가능하게 한다.
• 이론적 분석은 MCAR 하에서 진짜 데이터 분포의 회복이 선택된 채움 값과 누락 위치 정보에 의존하지 않는다고 보여준다(지정된 마스킹 모델 하에서).
• MNIST, CIFAR-10, CelebA에 대한 실험 결과 MisGAN이 누락 데이터 패턴 전반에서 임퓨테이션 품질과 안정성 측면에서 ConvAC 베이스라인보다 일반적으로 우수하며, 특히 더 높은 누락 비율에서 두드러진다.
• 관찰된 데이터를 조건으로 다양한 임퓨테이션을 생성하도록 MisGAN 내부에서 임퓨터 G_i를 적대적 학습으로 훈련시켜 임퓨테이션 리얼리즘을 향상시킬 수 있다.
• 결과 제거(ablation) 연구는 마스크 판별기가 비정상적 해를 피하고 올바른 마스크 분포를 학습하는 데 중요하며 AmbientGAN 유사 설정에 비해 강건성을 향상시킨다고 시사한다.