[논문 리뷰] Leveraging the Exact Likelihood of Deep Latent Variable Models

Pierre‐Alexandre Mattei, Jes Frellsen|IT University Of Copenhagen (IT University of Copenhagen)|2018. 02. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 10

한 줄 요약

이 논문은 깊이 있는 잠재변수 모델(DLVMs)의 정확한 우도를 조사하며, 연속형 데이터에 대한 제약이 없는 DLVM의 우도가 종종 유bound되어 있음을 밝혀내고, 이는 모드 붕괴를 초래함을 보여준다. 또한 정확한 조건부 우도를 이용한 결측치 보정 방법을 제안하며, 다양한 데이터셋에서 기존의 변분 보정 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Deep latent variable models (DLVMs) combine the approximation abilities of deep neural networks and the statistical foundations of generative models. Variational methods are commonly used for inference; however, the exact likelihood of these models has been largely overlooked. The purpose of this work is to study the general properties of this quantity and to show how they can be leveraged in practice. We focus on important inferential problems that rely on the likelihood: estimation and missing data imputation. First, we investigate maximum likelihood estimation for DLVMs: in particular, we show that most unconstrained models used for continuous data have an unbounded likelihood function. This problematic behaviour is demonstrated to be a source of mode collapse. We also show how to ensure the existence of maximum likelihood estimates, and draw useful connections with nonparametric mixture models. Finally, we describe an algorithm for missing data imputation using the exact conditional likelihood of a deep latent variable model. On several data sets, our algorithm consistently and significantly outperforms the usual imputation scheme used for DLVMs.

연구 동기 및 목표

• 깊이 있는 잠재변수 모델(DLVMs)의 정확한 우도의 통계적 성질을 조사하는 것. 이는 이론적으로 중요하지만 자주 간과당하는 분야이다.
• 연속형 데이터에 대한 제약이 없는 DLVM에서 우도가 무한대가 되는 문제를 다루며, 이는 훈련 과정에서 모드 붕괴를 유도한다.
• DLVM의 최대우도추정치가 존재할 조건을 설정하고, 이를 비모수적 혼합모델과 연결한다.
• 정확한 조건부 우도를 기반으로 한 새로운 결측치 보정 알고리즘을 개발하여 기존의 변분 보정 기법보다 향상된 성능을 달성한다.

제안 방법

• DLVM의 우도 함수에 대한 이론적 분석을 통해, 대부분의 연속형 데이터를 가진 제약이 없는 모델에서 우도가 유bound되어 있음을 밝혀내며, 이는 최대우도추정의 불안정성을 초래한다.
• 깊이 신경망의 보편적 근사 성질을 활용하여, 어떤 유한한 혼합모델도 유bound 우도를 가진 DLVM로 근사할 수 있음을 증명함으로써, 비모수적 혼합모델과의 연결 고리를 확립한다.
• 관측된 데이터의 정확한 조건부 우도를 계산하는 새로운 보정 알고리즘을 제안하며, 결측치에 대한 사후분포를 샘플링하기 위해 메트로폴리스-내부 기반 기반의 지속적 샘플링 기법(Metropolis-within-Gibbs)을 사용한다.
• 변분 근사에서 발생하는 편향을 피하기 위해, 전체 생성 모델 구조를 활용하여 결측치에 대한 정확한 사후예측 분포를 계산한다.
• MNIST, Omniglot, Caltech Silhouettes 데이터셋에서 다양한 결측률(40–80%) 조건 하에서 F1 점수를 사용해 알고리즘을 평가한다.
• 와이크로폰 순위합 검정을 통해 제안된 방법과 표준 가짜 기반 기반 보정 기법 사이의 통계적 유의성을 평가한다.

실험 결과

연구 질문

• RQ1 연속형 데이터에 대한 제약이 없는 깊이 있는 잠재변수 모델의 우도 함수가 왜 유bound가 되는가? 이는 모델 훈련에 어떤 영향을 미치는가?
• RQ2 깊이 있는 잠재변수 모델에서 최대우도추정치가 존재할 수 있는 조건는 무엇이며, 이는 비모수적 혼합모델과 어떻게 관련이 있는가?
• RQ3 DLVM의 정확한 조건부 우도는 결측치 보정에 효과적으로 활용될 수 있는가? 기존의 변분 보정 방법과 비교해 볼 때 어떤가?
• RQ4 다양한 데이터셋과 다양한 결측률 조건에서 정확한 조건부 우도를 사용한 보정의 경험적 성능 향상 정도는 어떠한가?
• RQ5 가설 검정을 통해 기존 기법보다 제안된 보정 방법이 통계적으로 유의미하게 더 좋은가?

주요 결과

• 연속형 데이터에 대한 제약이 없는 DLVM의 우도 함수는 유bound되어 있으며, 이는 최대우도추정 과정에서 모드 붕괴를 유도한다.
• 모델 아키텍처나 사전분포를 제약함으로써 최대우도추정치의 존재를 보장할 수 있으며, 이러한 모델은 비모수적 혼합모델과 통계적으로 동일하다.
• 정확한 조건부 우도를 기반으로 한 제안된 보정 방법은 모든 테스트된 데이터셋과 결측률 조건에서 기존의 변분 보정 방법을 일관되게 능가한다.
• MNIST, Omniglot, Caltech Silhouettes에서 제안된 방법은 와이크로폰 순위합 검정에서 p-값 <10−15를 기록하여 기준선 대비 통계적으로 유의미한 향상을 보였다.
• 높은 결측률(최대 80%) 조건에서도 높은 성능을 유지하며, 모든 설정에서 유의미한 향상이 유지된다.
• 결측치가 많을수록 특히 메트로폴리스-내부 기반 기반 샘플링 기법이 가짜 기반 기반 보다 훨씬 더 정확한 것으로 밝혀졌다.