[논문 리뷰] missIWAE: Deep Generative Modelling and Imputation of Incomplete Data.

Pierre‐Alexandre Mattei, Jes Frellsen|arXiv (Cornell University)|2018. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 16

한 줄 요약

이 논문은 계산적 오버헤드 없이 Missing-at-Random(MAR) 데이터를 처리할 수 있도록 중요도 가중치 자동에코더(IWAE)를 확장한 딥 생성 모델링 방법인 MIWAE를 제안한다. 관측된 데이터의 로그우도에 대한 날카러운 하한을 최대화함으로써, MIWAE는 정확한 단일 및 다중 대체를 가능하게 하며, 완전한 데이터로 훈련된 모델과 유사한 성능을 보이며, MNIST 및 기타 벤치마크에서 이를 입증한다.

ABSTRACT

We consider the problem of handling missing data with deep latent variable models (DLVMs). First, we present a simple technique to train DLVMs when the training set contains missing-at-random data. Our approach, called MIWAE, is based on the importance-weighted autoencoder (IWAE), and maximises a potentially tight lower bound of the log-likelihood of the observed data. Compared to the original IWAE, our algorithm does not induce any additional computational overhead due to the missing data. We also develop Monte Carlo techniques for single and multiple imputation using a DLVM trained on an incomplete data set. We illustrate our approach by training a convolutional DLVM on a static binarisation of MNIST that contains 50% of missing pixels. Leveraging multiple imputation, a convolutional network trained on these incomplete digits has a test performance similar to one trained on complete data. On various continuous and binary data sets, we also show that MIWAE provides accurate single imputations, and is highly competitive with state-of-the-art methods.

연구 동기 및 목표

• 결측값이 무작위로 발생하는(MAR) 데이터에서 딥 잠재변수모델(DLVMs)을 훈련하는 문제에 대응하기 위해.
• 중요도 가중치 자동에코더(IWAE)의 이점을 유지하면서도, 계산 비용 증가 없이 불완전한 데이터에 적응할 수 있는 방법을 개발하기 위해.
• 불완전한 데이터로 훈련된 DLVM를 사용하여 효과적인 단일 및 다중 대체를 가능하게 하기 위해.
• MIWAE로 훈련된 모델이 완전한 데이터로 훈련된 모델과 유사한 테스트 성능을 달성함을 입증하기 위해.

제안 방법

• 결측값이 무작위로 발생하는 조건 하에서 관측된 데이터의 로그우도에 대한 하한을 최대화하는 MIWAE를 제안하며, 이는 IWAE의 변종이다.
• 결측 항목을 고려하기 위해 중요도 가중치를 수정함으로써, 중요도 가중치 추정 프레임워크를 결측 데이터 처리에 적응시켰다.
• 훈련된 MIWAE 모델을 사용하여 단일 및 다중 대체를 위한 몬테카를로 기법을 도입했다.
• 결측 데이터가 존재함에도 불구하고 훈련 중 추가 오버헤드 없이 계산 효율성을 유지했다.
• 복잡한 데이터 분포를 모델링하기 위해 컨볼루션형 DLVM 아키텍처를 사용하였으며, 50%의 픽셀이 결측된 이진화된 MNIST 데이터 등에 적용하였다.
• 재구성 및 확률적 경량 최적화를 가능하게 하기 위해 재구성 기법과 확률적 경량 추정 기법을 활용하여 완전한 데이터로 훈련을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 수정된 중요도 가중치 자동에코더 프레임워크를 사용하여, 결측값이 무작위로 발생하는 데이터에서 딥 생성 모델을 효과적으로 훈련시킬 수 있는가?
• RQ2 기존의 IWAE와 비교해 볼 때, 제안된 MIWAE 방법은 결측 데이터 처리 시 계산 효율성을 유지하는가?
• RQ3 MIWAE는 완전한 데이터로 훈련된 모델과 유사한 성능을 보이는 정확한 단일 및 다중 대체를 생성할 수 있는가?
• RQ4 다양한 연속형 및 이진형 데이터셋에서 MIWAE는 최신의 대체 방법들과 비교해 어떤가?

주요 결과

• 50%의 픽셀이 결측된 이진화된 MNIST 데이터셋에서, MIWAE로 대체된 데이터로 훈련된 컨볼루션 네트워크는 완전한 데이터로 훈련된 모델과 유사한 테스트 성능을 달성했다.
• MIWAE는 다양한 연속형 및 이진형 데이터셋에서 정확한 단일 대체를 제공하였으며, 최신 기법들을 능가하거나 동등하게 성능을 내었다.
• 결측 데이터가 존재함에도 불구하고 훈련 중 추가적인 계산 오버헤드 없이도, IWAE의 효율성을 유지하였다.
• MIWAE를 사용한 다중 대체 방법은 하류 모델의 일반화 성능을 향상시켰으며, 불확실성 인식 대체의 유용성을 입증하였다.
• MIWAE 프레임워크는 관측된 데이터의 로그우도에 대해 날카러운 하한을 달성하여, 불완전한 데이터에 대한 강력한 모델 적합도를 나타내었다.