[논문 리뷰] not-MIWAE: Deep Generative Modelling with Missing not at Random Data

Niels Bruun Ipsen, Pierre‐Alexandre Mattei외 1명|arXiv (Cornell University)|2020. 06. 23.

Bayesian Methods and Mixture Models참고 문헌 92인용 수 21

한 줄 요약

이 논문은 변동가능한 손실 메커니즘을 갖는 비모수적 데이터(MNAR)를 명시적으로 모델링하기 위해 변동가능한 손실 메커니즘을 변동자기부인 프레임워크에 통합한 딥 생성 모델 not-MIWAE를 제안한다. 잠재공간과 데이터 공간에서 모두 재구성된 스토하스틱 기울기를 사용함으로써, 편향 없는 검증 데이터가 필요 없이 MNAR 데이터에서 최신 기술 수준의 보정 성능을 달성하며, 성향 스코어링에 의존하는 방법보다 뛰어난 성능을 보인다.

ABSTRACT

When a missing process depends on the missing values themselves, it needs to be explicitly modelled and taken into account while doing likelihood-based inference. We present an approach for building and fitting deep latent variable models (DLVMs) in cases where the missing process is dependent on the missing data. Specifically, a deep neural network enables us to flexibly model the conditional distribution of the missingness pattern given the data. This allows for incorporating prior information about the type of missingness (e.g. self-censoring) into the model. Our inference technique, based on importance-weighted variational inference, involves maximising a lower bound of the joint likelihood. Stochastic gradients of the bound are obtained by using the reparameterisation trick both in latent space and data space. We show on various kinds of data sets and missingness patterns that explicitly modelling the missing process can be invaluable.

연구 동기 및 목표

• 관측되지 않은 값에 의존하는 손실 메커니즘이 존재할 때(즉, MNAR일 때) 발생하는 손실 데이터 문제를 해결하기 위해.
• 데이터 분포와 손실 과정을 함께 학습하는 딥 잠재변수 모델을 개발하여, MNAR 하에서 정확한 추론이 가능하도록 하기 위해.
• 손실이 간과할 수 없는 경우인 추천 시스템, 이미지 클리핑, 케이싱된 데이터셋과 같은 실제 세계 시나리오에서의 보정 정확도를 향상시키기 위해.
• 성향 추정을 위한 외부 편향 없는 데이터에 의존하는 것을 제거하기 위해, 데이터에서 직접 손실 모델을 학습함으로써.
• 딥 네ural 네트워크 기반의 손실 모델을 통해 복잡한 손실 패턴을 민첩하게 모델링할 수 있도록 하기 위해.

제안 방법

• 모델은 MIWAE 프레임워크를 확장하여 관측된 데이터에서 손실 패턴으로 매핑하는 학습 가능한 손실 모델 $ p_{\phi}(\mathbf{s}|\mathbf{x}) $ 를 도입한다.
• 중요도 가중치 기반 변동자기부인을 사용하여 관측된 데이터와 손실 패턴의 결합 가능도에 대한 하한을 최대화한다.
• 잠재공간($ \mathbf{z} $)과 데이터 공간($ \mathbf{x} $)에서 모두 재구성된 기울기를 사용하여 엔드 투 엔드 학습이 가능하다.
• 범주형 데이터의 경우, 데이터 공간에서 미분 가능 샘플링을 가능하게 하기 위해 온도가 0.5인 Gumbel-Softmax 기법을 적용한다.
• 각 특성에 대해 공유된 가중치와 개별적인 편향을 갖는 로지스틱 회귀 모델로 손실 모델을 구현하여 특성별 손실 경향성을 포착한다.
• 가우시안 및 범주형 관측 모델을 모두 지원하여 다양한 데이터 유형에 유연성을 제공한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 데이터와 손실 분포를 함께 학습하여 MNAR 메커니즘 하에서 보정 성능을 향상시킬 수 있는가?
• RQ2 뉴럴 네트워크를 통해 손실 과정을 명시적으로 모델링하는 것이 MAR 또는 MCAR를 가정하는 것보다 성능 향상에 기여하는가?
• RQ3 성향 추정을 위해 외부 편향 없는(MCAR) 데이터가 필요 없이 not-MIWAE가 최신 기술 수준의 보정 결과를 달성할 수 있는가?
• RQ4 자기 케이싱, 이미지 클리핑, 추천 시스템에서의 선택 편향 등 다양한 MNAR 패턴에서 모델의 성능은 어떠한가?
• RQ5 손실 메커니즘에 대한 사전 지식를 모델 아키텍처에 통합할 경우 성능에 어떤 영향을 미치는가?

주요 결과

• not-MIWAE는 MNAR 데이터에서 훈련된 후 MCAR 테스트 세트에서 평균 제곱오차(MSE) 0.939 ± 0.007을 기록하여, 성향 스코어링을 사용하는 모든 베이스라인보다 뛰어난 성능을 보였다.
• 히스토GRAM 비교 결과, not-MIWAE의 보정된 분포는 MCAR 테스트 세트의 진짜 주변 분포와 매우 유사한 반면, MIWAE는 편향된 보정을 생성함을 확인하였다.
• not-MIWAE는 범주형 관측 모델을 사용한 MIWAE(MSE: 2.067 ± 0.004)보다 뚜렷이 우수하며, 특히 MNAR를 명시적으로 모델링하지만 성능이 열 劣한 MF-MNAR 모델(MSE: 2.199)을도 초월하였다.
• MF-IPS 및 MF-DR-JL와 같은 모델들과 달리, not-MIWAE는 성향 추정을 위한 별도의 MCAR 데이터 샘플이 필요 없이 최신 기술 수준의 성능를 달성하였다.
• 잠재공간과 데이터 공간에서 모두 재구성된 기울기를 사용함으로써 안정적이고 효율적인 학습이 가능했으며, 이는 결합 가능도의 엔드 투 엔드 최적화에 필수적이었다.
• 모델은 케이싱된 UCI 데이터, 클리핑된 이미지, 선택 편향이 있는 추천 시스템을 포함한 다양한 MNAR 시나리오에서 뛰어난 강건성을 보였다.