[논문 리뷰] MIWAE: Deep Generative Modelling and Imputation of Incomplete Data

Pierre‐Alexandre Mattei, Jes Frellsen|arXiv (Cornell University)|2018. 12. 06.

Image Processing and 3D Reconstruction인용 수 6

한 줄 요약

MIWAE는 계산적 오버헤드 없이 누락된 값을 무작위로 누락된(MAR) 데이터를 처리할 수 있도록 중요도 가중치 자동에ncoder(IWAE)를 확장한 딥 생성 모델링 접근법을 제안한다. UCI 데이터셋에서 단일 누락 처리 성능이 최고 수준이며, MNIST에서 50%의 픽셀이 누락된 경우에도 완전한 데이터로 학습된 모델 성능과 유사한 성능을 달성한다.

ABSTRACT

We consider the problem of handling missing data with deep latent variable models (DLVMs). First, we present a simple technique to train DLVMs when the training set contains missing-at-random data. Our approach, called MIWAE, is based on the importance-weighted autoencoder (IWAE), and maximises a potentially tight lower bound of the log-likelihood of the observed data. Compared to the original IWAE, our algorithm does not induce any additional computational overhead due to the missing data. We also develop Monte Carlo techniques for single and multiple imputation using a DLVM trained on an incomplete data set. We illustrate our approach by training a convolutional DLVM on a static binarisation of MNIST that contains 50% of missing pixels. Leveraging multiple imputation, a convolutional network trained on these incomplete digits has a test performance similar to one trained on complete data. On various continuous and binary data sets, we also show that MIWAE provides accurate single imputations, and is highly competitive with state-of-the-art methods.

연구 동기 및 목표

• 누락된 값이 무작위로 발생하는(MAR) 메커니즘을 가진 비완전한 데이터 세트에서 깊이 있는 잠재변수 모델(DLVMs)을 학습하기 위한 확장 가능하고 통계적으로 타당한 방법을 개발하는 것.
• 누락된 데이터를 처리하면서도 변분 추론의 계산 효율성을 유지하여 온라인 학습과 확장성을 보장하는 것.
• 학습된 DLVM를 사용하여 신뢰할 수 있는 단일 및 다중 누락 처리 기법을 제공하고, 누락된 값의 불확실성을 정량화하는 것.
• IWAE 프레임워크를 확장하여 관측된 데이터의 로그우도에 대한 날카운 감소 하한을 최대화함으로써 누락된 데이터를 처리하는 것.
• 다양한 유형의 데이터에서 기존 최고 수준의 방법들과 비교했을 때 경쟁력 있거나 우수한 누락 처리 정확도를 달성할 수 있음을 입증하는 것.

제안 방법

• 학습 중에 누락된 값을 0으로 대체하여 중요도 가중치 자동에ncoder(IWAE) 목적함수를 비완전한 데이터에 적응시킴.
• MAR 가정 하에 관측된 데이터의 로그우도에 대한 하한을 최대화하며, K개의 중요도 가중치를 사용하여 하한을 더욱 날카롭게 함.
• 단일 및 다중 누락 처리를 위한 조건부 기대값을 추정하기 위해 L개의 중요도 가중치를 사용한 몬테카를로 샘플링을 시행함.
• 에코더와 디코더에 다층 퍼셉트론을 사용하고, 변분 및 관측 가족에 대해 스트루던의 t 분포의 곱을 사용하는 컨볼루션형 DLVM 아키텍처를 적용함.
• 누락된 데이터로 인한 추가 오버헤드 없이 계산 효율성을 유지하여 표준 변분 추론의 확장성 그대로 유지함.
• 모든 데이터셋에 동일한 모델 아키텍처를 적용하고 고정된 잠재 차원(d=10)을 사용하여 불필요한 차원의 자동 제거를 가능하게 함.

실험 결과

연구 질문

• RQ1 IWAE 프레임워크는 계산 오버헤드 없이 딥 생성 모델에서 누락된 데이터를 처리할 수 있는가?
• RQ2 기존 방법들과 비교해 MIWAE는 더 날카운 우도 하한과 더 정확한 누락 처리 성능을 보이는가?
• RQ3 MIWAE 기반의 다중 누락 처리는 완전한 데이터로 학습된 모델과 유사한 테스트 성능을 달성할 수 있는가?
• RQ4 연속형 및 이진형 UCI 데이터셋에서 MIWAE는 missForest, k-NN, PCA와 같은 최고 수준의 누락 처리 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 중요도 가중치 수(K)를 늘일수록 MIWAE의 누락 처리 정확도는 어느 정도 향상되는가?

주요 결과

• MIWAE는 연속형 UCI 데이터셋에서 단일 누락 처리 성능이 최고 수준이며, Banknote 데이터셋에서 평균 제곱오차(MSE)가 0.446으로 MVAE(0.593), missForest(0.676), k-NN(0.744)를 모두 능가함.
• MNIST 데이터셋에서 50%의 픽셀이 누락된 경우, MIWAE로 학습된 컨볼루션형 DLVM와 다중 누락 처리 기법을 사용할 때, 완전한 데이터로 학습된 모델과 유사한 테스트 성능을 달성함.
• 중요도 가중치 수를 K=1(MVAE)에서 K=20으로 늘일 경우에 누락 처리 정확도가 크게 향상되어 더 날카운 우도 하한의 이점이 입증됨.
• 모든 테스트된 UCI 데이터셋에서 MIWAE는 PCA(MSE 0.682, Banknote), 평균 대체(MSE 1.02), k-NN(MSE 0.744)를 모두 능가함.
• 계산 효율성과 확장성을 유지하여 비완전한 데이터에서 온라인 학습을 추가 오버헤드 없이 수행할 수 있음.
• 특히 고차원적이고 복잡한 분포를 가진 데이터에 누락된 값이 존재할 경우, 기존 최고 수준의 방법들과 비교해 매우 경쟁력 있음.