[논문 리뷰] VIGAN: Missing View Imputation with Generative Adversarial Networks

Chao Shang, Aaron Palmer외 4명|arXiv (Cornell University)|2017. 08. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 17

한 줄 요약

이 논문은 다중시각 또는 다중모달 데이터셋에서 전체적인 누락된 시각을 보완하기 위한 생성적 적대적 네트워크 기반 방법인 VIGAN을 제안한다. 서로 다른 시각 간의 도메인 매핑을 위해 사이클 일관성 GAN을 결합하고, 재구성에 다중모달 노이즈 제거 autoencoder를 사용함으로써, 기준 및 실제 유전체 데이터셋에서 최신 기술 수준의 보정 정확도를 달성한다. 이는 쌍화된 데이터와 비쌍화된 데이터 설정 모두에서 CycleGAN 및 pix2pix와 같은 기존 방법들을 능가한다.

ABSTRACT

In an era when big data are becoming the norm, there is less concern with the quantity but more with the quality and completeness of the data. In many disciplines, data are collected from heterogeneous sources, resulting in multi-view or multi-modal datasets. The missing data problem has been challenging to address in multi-view data analysis. Especially, when certain samples miss an entire view of data, it creates the missing view problem. Classic multiple imputations or matrix completion methods are hardly effective here when no information can be based on in the specific view to impute data for such samples. The commonly-used simple method of removing samples with a missing view can dramatically reduce sample size, thus diminishing the statistical power of a subsequent analysis. In this paper, we propose a novel approach for view imputation via generative adversarial networks (GANs), which we name by VIGAN. This approach first treats each view as a separate domain and identifies domain-to-domain mappings via a GAN using randomly-sampled data from each view, and then employs a multi-modal denoising autoencoder (DAE) to reconstruct the missing view from the GAN outputs based on paired data across the views. Then, by optimizing the GAN and DAE jointly, our model enables the knowledge integration for domain mappings and view correspondences to effectively recover the missing view. Empirical results on benchmark datasets validate the VIGAN approach by comparing against the state of the art. The evaluation of VIGAN in a genetic study of substance use disorders further proves the effectiveness and usability of this approach in life science.

연구 동기 및 목표

• 일부 샘플에서 전체적인 시각이 누락되어 통계적 검정력과 모델 성능에 제약을 주는 다중시각 및 다중모달 데이터에서의 누락된 시각 문제를 해결하기 위해.
• 완전한 시각이나 단순 보정 기법에 의존하지 않고도 효과적으로 누락된 시각을 재구성할 수 있는 확장 가능한 딥 러닝 기반 방법을 개발하기 위해.
• GAN 및 autoencoder 구성 요소의 공동 최적화를 통해 도메인 매핑과 시각 대응 관계에서의 지식 통합을 수행하기 위해.
• 특히 약물 사용 장애 유전체 연구에서의 실제 생물의학 데이터셋을 대상으로 평가하여 실용적 유용성을 입증하기 위해.
• 이미지 간 번역을 넘어서 구조적이고 수치적인 다중시각 데이터에 대해 GAN 기반 방법의 적용 범위를 확장하기 위해.

제안 방법

• VIGAN은 서로 다른 데이터 시각 간의 이방향 매핑을 학습하기 위해 사이클 일관성 GAN을 사용하며, 각 시각을 별개의 도메인으로 간주한다.
• 쌍화된 데이터를 활용하여 GAN에서 생성된 출력에서 누락된 시각을 재구성하기 위해 다중모달 노이즈 제거 autoencoder(DAE)를 사용한다.
• GAN과 DAE 구성 요소를 공동 최적화하여 도메인 간 및 시각 대응 관계 간의 지식 통합을 가능하게 한다.
• 모델은 다단계 방식으로 훈련되며, 쌍화된 데이터와 비쌍화된 데이터를 모두 활용하여 일반화 및 강인성을 향상시킨다.
• 확장성과 수렴성을 확보하기 위해 Adam 최적화기를 사용한 확률적 경사 하강법을 적용한다.
• TripleGAN과 같이 CycleGAN 프레임워크를 변형하여 두 개 이상의 시각에 적용할 수 있도록 하며, 다중모달 autoencoder의 사전 훈련을 통해 확장성을 높인다.

실험 결과

연구 질문

• RQ1 일부 샘플에서 전체적인 시각이 누락된 상황에서 GAN 기반 프레임워크가 교차 시각 매핑을 효과적으로 학습할 수 있는가?
• RQ2 노이즈 제거 autoencoder의 통합이 GAN 단독 기반 보다 보정 정확도를 향상시키는가?
• RQ3 훈련 중에 비쌍화된 데이터를 사용할 경우 시각 보정 모델의 성능 향상이 이루어지는가?
• RQ4 수치 데이터 및 이미지 데이터에서 VIGAN이 CycleGAN, pix2pix 및 행렬 완성 기법과 비교해 보정 정확도에서 어떻게 성능을 내는가?
• RQ5 VIGAN은 실제 생물의학 데이터셋, 예를 들어 약물 사용 장애 유전체 연구에 효과적으로 적용될 수 있는가?

주요 결과

• MNIST 데이터셋에서 VIGAN은 모든 데이터(쌍화된 및 비쌍화된 데이터 포함)를 사용해 평균 정확도 80.03%를 달성하였으며, CycleGAN(75.70%) 및 pix2pix(71.89%)를 능가했다.
• 알코올 및 캔나비스 유전체 데이터셋에서 VIGAN은 비쌍화된 데이터에서 평균 정확도 64.50%를 기록하여 CycleGAN(61.96%) 및 pix2pix(61.12%)를 초월했다.
• VIGAN 모델은 어느 시각을 보완하는지에 관계없이 일관된 성능을 보이며, 양방향 시각 전이에서 강인함을 입증했다.
• 행렬 완성 기법은 확장성 문제로 인해 메모리에 데이터를 로드하지 못했지만, VIGAN은 Tesla K40 GPU에서 몇 시간 내에 효율적으로 훈련되었다.
• 다중모달 DAE의 통합은 GAN 단독 기반 기준보다 정확도를 크게 향상시켜, 수치 데이터 보정에서 노이즈 제거 및 재구성의 가치를 입증했다.
• VIGAN은 실제 유전체 데이터에서 뛰어난 일반화 및 안정성을 보이며 생명과학 및 복잡하고 이질적인 데이터셋에서의 실용성을 입증했다.