[논문 리뷰] Identifiable Generative Models for Missing Not at Random Data Imputation

Chao Ma, Cheng Zhang|arXiv (Cornell University)|2021. 10. 27.

Bayesian Methods and Mixture Models참고 문헌 58인용 수 12

한 줄 요약

이 논문은 이산형으로 정의된 미리 정의된 손실이 없는 데이터(MNAR)를 위한 딥 생성 임퓨터 모델인 GINA를 제안한다. 이론적 식별 가능성 보장 조건을 통해, 변분 오토인코더 프레임워크를 통해 손실 메커니즘을 명시적으로 모델링함으로써, 미세한 가정 하에 모델 파라미터가 유일하게 복원 가능하게 하여 편향 없는 임퓨터를 보장한다. 제안된 방법은 시뮬레이션 및 실제 MNAR 데이터셋에서 기존 방법들을 능가하며, 임퓨터 정확도와 후속 작업 성능 향상에서 일관된 개선을 보여준다.

ABSTRACT

Real-world datasets often have missing values associated with complex generative processes, where the cause of the missingness may not be fully observed. This is known as missing not at random (MNAR) data. However, many imputation methods do not take into account the missingness mechanism, resulting in biased imputation values when MNAR data is present. Although there are a few methods that have considered the MNAR scenario, their model's identifiability under MNAR is generally not guaranteed. That is, model parameters can not be uniquely determined even with infinite data samples, hence the imputation results given by such models can still be biased. This issue is especially overlooked by many modern deep generative models. In this work, we fill in this gap by systematically analyzing the identifiability of generative models under MNAR. Furthermore, we propose a practical deep generative model which can provide identifiability guarantees under mild assumptions, for a wide range of MNAR mechanisms. Our method demonstrates a clear advantage for tasks on both synthetic data and multiple real-world scenarios with MNAR data.

연구 동기 및 목표

• 기존 딥 생성 모델이 MNAR 데이터에 대해 식별 가능성이 부족하여 편향된 임퓨터를 초래하는 심각한 격차를 메우기 위해.
• 다양한 MNAR 메커니즘 하에서 생성 모델의 식별 가능성에 대한 이론적 분석을 제공하고, 최대우도 기반으로 유일한 파라미터 복원을 위한 충분한 조건을 수립하기 위해.
• 유연한 가정 하에 식별 가능성을 보장하는 실용적이고 확장 가능한 딥 생성 모델인 GINA를 개발하여, 실제 MNAR 상황에서 신뢰할 수 있고 편향 없는 임퓨터를 가능하게 하기 위해.
• 실제 데이터, 시뮬레이션 데이터, 그리고 손실 데이터 하에서의 활성 특성 선택과 같은 후속 작업에서 GINA의 효과성을 입증하기 위해.

제안 방법

• 데이터 분포 $ p_{\theta}(X) $ 와 손실 메커니즘 $ p_{\lambda}(R|X) $ 를 함께 모델링할 수 있는 변분 오토인코더 기반 프레임워크를 제안하여, 양자 모두를 동시에 추정할 수 있도록 한다.
• 관측된 데이터의 우도를 극대화하면서도 손실 패턴을 마스크 변수 $ R $ 를 통해 고려하는 가능도 목적함수 $ \mathcal{L}_{K}(\theta,\lambda,\phi,X_{o},R) $ 를 도입한다.
• 손실 메커니즘을 명시적으로 모델링하여 식별 가능성을 확보함으로써, 서로 다른 파라미터 설정이 서로 다른 관측된 데이터 분포를 유도하게 하여 정의 2.1을 만족시킨다.
• 진짜 사후분포 $ p_{\theta,\lambda}(Z|X_{o}) $ 를 근사하기 위해 추론 네트워크 $ q_{\phi}(Z|X_{o}) $ 를 사용하며, 표현력 있는 능력과 정확한 모델 사양 하에 일致성이 입증된다.
• 잠재 공간을 활용하여 KL 발산 근사치를 통해 정보 수익을 효율적으로 추정함으로써, 활성 질문 선택과 같은 후속 작업에 모델을 적용한다.
• 잠재 공간 기반 KL 발산 근사를 활용한 빠른 정보 수익 근사치를 적용한다: $ R(i|X_{O}) \approx \mathbb{E}_{X_{i}} D_{KL}[q(Z|X_{i},X_{O})||q(Z|X_{O})] - \mathbb{E}_{X_{\phi},X_{i}} D_{KL}[q(Z|X_{\phi},X_{i},X_{O})||q(Z|X_{\phi},X_{O})] $.

실험 결과

연구 질문

• RQ1 무한한 데이터에서 진짜 파라미터를 유일하게 복원할 수 있도록 보장하기 위해, MNAR 손실 상황에서 딥 생성 모델이 어떤 조건을 충족해야 하는가?
• RQ2 손실 메커니즘이 복잡하고 관측되지 않을 때, 복잡한 딥 생성 모델에서 식별 가능성이 어떻게 유지될 수 있는가?
• RQ3 다양한 실제 데이터 환경에서 MNAR 임퓨터에서 식별 가능성과 높은 성능을 동시에 확보할 수 있는 실용적인 딥 생성 모델을 설계할 수 있는가?
• RQ4 기존 방법과 비교해 볼 때, MNAR 조건 하에서 임퓨터 정확도와 후속 작업 성능 측면에서 제안된 모델은 어떻게 성능을 내는가?

주요 결과

• GINA는 다양한 MNAR 메커니즘을 가진 시뮬레이션 데이터셋에서 산점도가 진짜 KDE 밀도 추정치와 밀접하게 일치함으로써 일관되고 편향 없는 임퓨터를 달성한다.
• Eedi 및 UCI 데이터셋과 같은 실제 데이터셋에서 MNAR 패턴을 보이며, GINA는 PVAE 및 Not-MIWAE와 같은 기준 모델보다 정규화된 평균 제곱근 오차(NRMSE)와 평균 절대 오차(MAE) 측면에서 뛰어난 성능을 보인다.
• 활성 특성 선택 작업에서 뛰어난 성능을 보이며, 잠재 공간 내 KL 발산 근사치로 측정된 정보 수익이 더 높은 정보성 특성을 선택한다.
• 이론적 일致성 확보: 정확한 모델 사양과 표현력 있는 추론 네트워크 하에, GINA는 무한한 데이터의 한계에서 진짜 파라미터 $ \theta^* $ 와 $ \lambda^* $ 를 등가관계 $ \sim_A $ 에 대해 회복한다.
• 실험 결과, GINA는 표준 VAE나 식별 불가능한 모델이 편향을 겪는 것과 달리, 복잡하고 무시할 수 없는 손실 메커니즘에서도 강력한 성능을 유지함을 보여준다.
• 제거 실험 결과, 손실 메커니즘의 명시적 모델링이 식별 가능성과 성능에 필수적임을 확인하였으며, 이를 제거할 경우 임퓨터 품질이 심각하게 악화됨을 확인하였다.