[논문 리뷰] Variational Noise-Contrastive Estimation

Benjamin Rhodes, Michael U. Gutmann|arXiv (Cornell University)|2018. 10. 18.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 정규화되지 않은 잠재변수 모델에 대한 변분 추론을 가능하게 하는 새로운 방법인 변분 노이즈 대비 추정(VNCE)을 소개한다. 이는 NCE 목적함수에 대한 변분 하한을 정식화하여, 완전한 데이터가 없을 경우에도 계산이 가능하고 최적화 가능한 목적함수를 제공한다. VNCE는 매개변수 추정과 사후 추론을 모두 지원하며, 최대likelihood추정(MLE)과 유사한 성능을 달성한다.

ABSTRACT

Unnormalised latent variable models are a broad and flexible class of statistical models. However, learning their parameters from data is intractable, and few estimation techniques are currently available for such models. To increase the number of techniques in our arsenal, we propose variational noise-contrastive estimation (VNCE), building on NCE which is a method that only applies to unnormalised models. The core idea is to use a variational lower bound to the NCE objective function, which can be optimised in the same fashion as the evidence lower bound (ELBO) in standard variational inference (VI). We prove that VNCE can be used for both parameter estimation of unnormalised models and posterior inference of latent variables. The developed theory shows that VNCE has the same level of generality as standard VI, meaning that advances made there can be directly imported to the unnormalised setting. We validate VNCE on toy models and apply it to a realistic problem of estimating an undirected graphical model from incomplete data.

연구 동기 및 목표

• 정규화 상수가 계산이 불가능하고 잠재변수에 대한 주변화가 불가능한 정규화되지 않은 잠재변수 모델에 대한 추정 기법의 부족을 해결한다.
• 변분 추론(VI)과 노이즈 대비 추정(NCE)이라는 두 가지 잘 정립된 방법 간의 격차를 메운다. 이는 각각 다른 유형의 모델에 적용되는 방법이다.
• 정규화되지 않은 모델에서 매개변수 추정과 사후 추론을 모두 지원하는 일반 목적의 프레임워크를 개발하며, 표준 VI 수준의 이론적 기반을 확보한다.
• 실제 문제에 대한 강건성과 실용성을 입증한다: 완전하지 않은 데이터에서 비방향 그래프 모델을 학습하는 것

제안 방법

• NCE 목적함수에 대한 변분 하한을 제안하여, 표준 VI에서의 증거 하한(ELBO)과 유사한 최적화를 가능하게 한다.
• 진짜 사후분포 $p({\mathbf{z}} \mid {\mathbf{x}}; \boldsymbol{\theta})$ 를 근사하기 위해 변분 근사 $q({\mathbf{z}} \mid {\mathbf{x}}; \boldsymbol{\phi})$ 를 사용하여 모델 매개변수 $\boldsymbol{\theta}$ 와 변분 매개변수 $\boldsymbol{\phi}$ 를 동시에 최적화할 수 있도록 한다.
• VNCE 목적함수를 NCE 손실의 계산 가능한 하한으로 정의하며, BFGS와 같은 표준 솔버를 사용한 확률적 최적화를 통해 최대화한다.
• VNCE가 진짜 사후분포와 근사 사후분포 사이의 f-발산을 최소화함을 증명하며, 계산 자원이 증가함에 따라 이 발산이 KL 발산으로 수렴함을 보인다.
• 결손 데이터가 있는 비방향 그래프 모델에 이 방법을 적용하며, 계산 가능성을 확보하기 위해 깁스 샘플링을 사용하고, 그래프 구조 복원을 위해 임계값 설정을 적용한다.
• 에 borda AUC를 사용하여 VNCE를 평균 대체법을 사용한 NCE와 몬테카를로 MLE(MC-MLE)와 비교하여 간선 복원 성능을 평가한다.

실험 결과

연구 질문

• RQ1 NCE 목적함수에 대해 변분 하한을 구성할 수 있는가? 이를 통해 정규화되지 않은 잠재변수 모델의 엔드 투 엔드 학습이 가능해지는가?
• RQ2 데이터가 완전하지 않을 경우, VNCE는 MLE와 NCE의 이론적으로 타당한 대안이 될 수 있는가?
• RQ3 VNCE는 정규화되지 않은 모델에서 효과적으로 사후 추론을 수행할 수 있는가? 그리고 표준 VI와 비교해 발산 최소화 방식은 어떻게 다른가?
• RQ4 VNCE는 평균 대체법을 사용한 NCE와 MC-MLE에 비해 완전하지 않은 데이터에서 그래프 모델의 구조 복원 성능에서 어떻게 성능을 내는가?
• RQ5 효율적인 샘플링이 불가능한 상황에서 VNCE는 MLE의 실용적이고 최적화 가능한 대안이 될 수 있는가?

주요 결과

• VNCE는 완전하지 않은 데이터에서 평균 대체법을 사용한 NCE보다 뚜렷이 뛰어나며, 데이터의 40퍼센트 이상이 누락된 경우에 특히 두각을 나타낸다. 이 경우 NCE의 AUC는 0.5에 가까워지며, 무작위 추측 수준에 도달한다.
• 적절한 학습률 튜닝을 통해 MC-MLE가 가장 높은 AUC를 기록하며, 이는 매개변수 추정의 황금 표준임을 확인한다.
• 비최적의 초모수 설정에서도 VNCE는 MC-MLE와 유사한 성능을 보이며, 강건성과 실용적 타당성을 입증한다.
• VNCE 목적함수는 표준 최적화기로 잘 정의되어 있고 최적화가 가능하여 교차검증과 정규화에 적합하다. 반면 MC-MLE는 계산 가능한 목적함수를 갖지 못한다.
• VNCE는 이론적으로 일관성을 유지한다. 계산 자원이 증가함에 따라 최소화하는 f-발산이 KL 발산으로 수렴한다.
• 이 방법은 일반적이며 확장 가능하다. 표준 VI에서의 발전은 VNCE를 통해 정규화되지 않은 설정으로 직접 적용할 수 있다.