[논문 리뷰] Autoencoders and Probabilistic Inference with Missing Data: An Exact Solution for The Factor Analysis Case

Christopher K. I. Williams, Charlie Nash외 1명|arXiv (Cornell University)|2018. 01. 11.

Computational and Text Analysis Methods참고 문헌 2인용 수 11

한 줄 요약

이 논문은 데이터에 결측치가 존재할 때 요인 분석 모델에서 잠재 변수에 대한 정확한 해석적 해를 제시하며, 결측치 패턴이 각각 다를 경우 인코더 네트워크를 다시 훈련해야 한다고 보여준다. 이 방법은 반복적이지 않은 단일 프로퍼게이션 추론을 가능하게 하여, 평균 대체, FCA, SCA, 노이즈 제거 autoencoder와 같은 근사 방법보다 성능이 뛰어나며, 특히 훈련 시점에 결측치 패턴이 알려져 있을 경우에 유의미하게 우수하다.

ABSTRACT

Latent variable models can be used to probabilistically "fill-in" missing data entries. The variational autoencoder architecture (Kingma and Welling, 2014; Rezende et al., 2014) includes a "recognition" or "encoder" network that infers the latent variables given the data variables. However, it is not clear how to handle missing data variables in this network. The factor analysis (FA) model is a basic autoencoder, using linear encoder and decoder networks. We show how to calculate exactly the latent posterior distribution for the factor analysis (FA) model in the presence of missing data, and note that this solution implies that a different encoder network is required for each pattern of missingness. We also discuss various approximations to the exact solution. Experiments compare the effectiveness of various approaches to filling in the missing data.

연구 동기 및 목표

• 입력 데이터에 결측치가 존재할 때 확률적 autoencoder에서 잠재 변수에 대한 정확한 사후 추론을 수행하는 데 도전하는 것.
• 선형 가우시안 가정을 활용하여 결측치가 존재하는 상황에서 요인 분석 모델의 사후 분포에 대한 폐쇄형 해를 유도하는 것.
• 최적의 인코더 네트워크가 결측치 패턴에 비선형적으로 의존하며, 각 패턴에 대해 별도의 모델이 필요하다는 것을 보여주는 것.
• 평균 대체, FCA, SCA, 노이즈 제거 autoencoder와 같은 실용적 근사 방법과 정확한 해를 보정 정확도 측면에서 비교하는 것.
• 특히 훈련 시점과 테스트 시점의 결측치 패턴이 다를 경우, 이러한 방법들의 강건성과 한계를 평가하는 것.

제안 방법

• 베이즈 정리에 기반하여, 가우시안 사전분포와 우도를 가정할 때 요인 분석의 정확한 사후 분포 $p(\mathbf{z}|\mathbf{x}_v, \mathbf{m})$ 를 유도한다.
• 식 (1)과 (2)를 통해 사후 평균과 공분산을 폐쇄형으로 표현하며, $\Sigma_{\mathbf{z}|\mathbf{x}_v} = (I_K + W_v^T \Psi_v^{-1} W_v)^{-1}$ 와 $\bm{\mu}_{\mathbf{z}|\mathbf{x}_v} = \Sigma_{\mathbf{z}|\mathbf{x}_v} W_v^T \Psi_v^{-1} (\mathbf{x}_v - \bm{\mu}_v)$ 를 포함한다.
• 결측치에 대한 대각 행렬 $M$ 을 도입하여 사후를 재구성함으로써, 결측치 패턴에 대한 의존성을 명시적으로 드러낸다. 즉, $\Sigma_{\mathbf{z}|\mathbf{x}_v} = (I_K + W^T M \Psi^{-1} M W)^{-1}$ 이다.
• 세 가지 근사 방법을 제안한다: FCA(완전 데이터를 가진 요인 분석), SCA(구조적 조건부 autoencoder), 그리고 합성된 결측치 패턴에 기반해 훈련된 노이즈 제거 autoencoder.
• 노이즈 제거 autoencoder는 손상된 입력에서 잠재 변수를 예측하도록 훈련하며, 이때 손상 패턴은 테스트 시점의 기대되는 결측치 패턴과 일치시킨다.
• Frey 얼굴 데이터셋에서 랜덤 및 구조적 결측치 패턴을 모두 활용하여, 모든 근사 방법의 평가를 위한 강력한 베이스라인으로 정확한 해를 사용한다.

실험 결과

연구 질문

• RQ1 결측치가 존재하는 요인 분석 모델에서 폐쇄형 해를 활용해 잠재 변수에 대한 정확한 사후 추론을 달성할 수 있는가?
• RQ2 입력에서의 특정 결측치 패턴에 따라 최적의 인코더 네트워크가 어떻게 달라지는가?
• RQ3 평균 대체, FCA, SCA, 노이즈 제거 autoencoder와 같은 근사 추론 방법이 정확한 해와 비교할 때 보정 정확도에서 어떻게 다를까?
• RQ4 훈련 시점과 테스트 시점의 결측치 패턴이 다를 경우, 노이즈 제거 autoencoder의 성능에 어떤 영향을 미치는가?
• RQ5 선형 모델에서의 정확한 추론에 대한 통찰은 비선형 autoencoder에 대해 결측치가 존재하는 상황에서의 추론 메커니즘 설계에 어떻게 기여할 수 있는가?

주요 결과

• 폐쇄형 사후 계산에 기반한 정확한 추론 방법은 Frey 얼굴 데이터셋에서 랜덤 및 구조적 결측치 패턴 모두에서 가장 낮은 평균 제곱 보정 오차를 달성한다.
• 노이즈 제거 autoencoder는 랜덤 결측치로 훈련했지만 구조적 결측치(예: 결측한 1/4 영역)로 테스트했을 경우 성능이 떨어지며, 이는 패턴 불일치에 민감함을 보여준다.
• 1/4 영역이 결측하는 패턴에서는 노이즈 제거 autoencoder가 정확한 추론을 略로 약간 우수한 성능을 보이며, 이는 정확한 추론에서 사용된 PPCA 모델과 진짜 데이터 간의 분포 불일치 때문일 수 있다.
• FCA와 SCA는 평균 대체보다 점진적인 향상을 보이며, SCA는 FCA를 초월함으로써 결측치 패턴을 체계적으로 모델링함으로써 보정 정확도 향상이 가능하다는 것을 시사한다.
• 사용 가능한 데이터가 많아질수록 사후 불확실도가 감소하며, 입술과 같은 영역는 더 오랫동안 불확실하게 유지되며, 이는 모델이 국소적 구조에 민감함을 반영한다.
• 노이즈 제거 autoencoder의 훈련 오차와 테스트 오차 간 격차는 훈련 시에 전체 데이터 사후 분포에 접근할 수 있었지만, 테스트 시점에는 그렇지 못했음을 시사한다.