[논문 리뷰] To Relieve Your Headache of Training an MRF, Take AdVIL

Chongxuan Li, Chao Du외 4명|arXiv (Cornell University)|2019. 01. 24.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 5

한 줄 요약

AdVIL는 두 개의 변분 분포인 변분 인코더(잠재 변수 추론을 위한)와 변분 디코더(로그 분할 함수 추정을 위한)를 사용하는 최소최대 최적화 프레임워크를 통해 마르코프 무작위장(MRFs)에 대한 블랙박스 변분 추론 및 학습 방법을 제안한다. NVIL 및 대비 기반 수렴 방법에 비해 더 날카운 로그-분할 함수 추정과 뛰어난 가능도 성능을 달성하며, 특히 딥 볼츠만 기계와 같은 복잡한 모델에서 유의미한 성능 향상을 보인다.

ABSTRACT

We propose a black-box algorithm called {\it Adversarial Variational Inference and Learning} (AdVIL) to perform inference and learning on a general Markov random field (MRF). AdVIL employs two variational distributions to approximately infer the latent variables and estimate the partition function of an MRF, respectively. The two variational distributions provide an estimate of the negative log-likelihood of the MRF as a minimax optimization problem, which is solved by stochastic gradient descent. AdVIL is proven convergent under certain conditions. On one hand, compared with contrastive divergence, AdVIL requires a minimal assumption about the model structure and can deal with a broader family of MRFs. On the other hand, compared with existing black-box methods, AdVIL provides a tighter estimate of the log partition function and achieves much better empirical results.

연구 동기 및 목표

• 일반적인 마르코프 무작위장(MRFs)에 대한 모델 구조 분석이 필요 없는 블랙박스 추론 및 학습 방법을 개발하는 것.
• 기존 방법의 한계인 분할 함수 추정의 열악함과 모델 구조 의존성 문제를 해결하는 것.
• NVIL의 단점을 보완하여 로그 분할 함수에 대한 더 날카운 하한을 제공하고 MRF 추론 문제를 해결하는 것.
• 스토케스틱 그래디언트 디센트를 사용해 잠재 변수를 가진 비방향 모델의 엔드 투 엔드 학습을 가능하게 하는 것.
• 딥 볼츠만 기계와 같은 복잡한 MRF에서 대비 기반 수렴 및 NVIL보다 더 나은 경험적 성능을 달성하는 것.

제안 방법

• AdVIL은 두 가지 변분 분포를 사용한다: 잠재 변수의 사후분포를 근사하기 위한 변분 인코더와 분할 함수를 추정하기 위한 변분 디코더.
• 방법론은 자유 에너지의 상한과 하한을 결합하여 음의 로그 가능도를 최소최대 최적화 문제로 공식화한다.
• 변분 디코더는 유연성을 향상시키기 위해 보조 변수를 도입하며, 엔트로피는 제3의 변분 기법을 통해 근사한다.
• 학습은 인코더와 디코더에 대해 번갈아가며 스토케스틱 그래디언트 디센트를 수행하며, GAN 유사 목적 함수를 모방한다.
• 이 프레임워크는 생성을 위한 효율적인 조상 샘플링을 지원하며, 모델 구조에 따라 특화된 유도 없이 블랙박스 학습이 가능하다.
• 이론적으로 변분 디코더가 진짜 모델을 잘 근사할 경우 수렴성이 보장된다.

실험 결과

연구 질문

• RQ1 모델 구조 분석 없이 엔드 투 엔드 학습이 가능한 MRF에 대한 블랙박스 방법을 개발할 수 있는가?
• RQ2 NVIL이 과소추정 문제를 겪는 것과 비교해 로그 분할 함수에 대한 더 날카운 하한을 달성할 수 있는가?
• RQ3 최소최대 변분 프레임워크가 딥 볼츠만 기계와 같은 복잡한 MRF에서 로그 가능도 성능을 향상시키는가?
• RQ4 변분 분포에 엔트로피 항을 포함시키는 것이 모델 수렴성과 생성 품질에 어떤 영향을 미치는가?
• RQ5 분할 함수 계산이 불가능한 비방향 모델에 대해 적대적 학습 원리를 효과적으로 적용할 수 있는가?

주요 결과

• AdVIL은 모든 데이터셋에서 NVIL보다 유의미하게 뛰어난 로그 가능도 성능을 달성했으며, Digits 데이터셋에서 평균 1.02 nats의 향상을 보였다.
• Digits 데이터셋에서 계층적 디코더를 사용한 AdVIL은 테스트 NLL -27.89를 기록했으며, VCD의 -28.49를 뛰어넘고 최고 성능 기준선과 동등한 성능을 보였다.
• RBM에서 AdVIL은 Digits 데이터셋에서 평균 AIS 결과로 -26.34 nats를 기록했고, NVIL의 -27.36 nats보다 더 날카운 로그-분할 함수 추정을 보였다.
• NADE 디코더를 사용한 AdVIL는 계층적 디코더보다 약간 열악하고 불안정한 성능을 보였으며, 이는 보조 변수 구조의 중요성을 시사한다.
• 제거 실험 결과, 변분 분포에서 엔트로피 항을 제거하면 모드 붕괴가 발생하고 의미 있는 샘플 생성에 실패함을 확인했다.
• AdVIL의 최소최대 최적화는 VCD보다 학습 곡선이 덜 안정적이지만, 특히 DBM과 같은 깊은 모델에서 뛰어난 최종 성능을 달성했다.