[논문 리뷰] Exponential Family Estimation via Adversarial Dynamics Embedding

Bo Dai, Zhen Liu외 5명|arXiv (Cornell University)|2019. 04. 27.

Gaussian Processes and Bayesian Inference참고 문헌 47인용 수 16

한 줄 요약

이 논문은 최대우도추정(MLE)을 위한 새로운 방법인 적대적 동역학 임bedding(ADE)을 제안한다. 이 방법은 해밀턴 몬테카를로(HMC)를 일반화한, 미분 가능하고 신경망 기반의 이중 샘플러를 사용하여 지수족 모형의 MLE를 수행한다. 공유 파라미터를 가진 원본 에너지 모형과 동역학 임bedding이 내장된 이중 샘플러를 함께 훈련시킴으로써, ADE는 계산이 용이하고 편향이 없는 MLE를 가능하게 하며, 엔트로피 추정이 간편해져 MNIST와 CIFAR-10을 포함한 합성 및 실세계 이미지 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We present an efficient algorithm for maximum likelihood estimation (MLE) of exponential family models, with a general parametrization of the energy function that includes neural networks. We exploit the primal-dual view of the MLE with a kinetics augmented model to obtain an estimate associated with an adversarial dual sampler. To represent this sampler, we introduce a novel neural architecture, dynamics embedding, that generalizes Hamiltonian Monte-Carlo (HMC). The proposed approach inherits the flexibility of HMC while enabling tractable entropy estimation for the augmented model. By learning both a dual sampler and the primal model simultaneously, and sharing parameters between them, we obviate the requirement to design a separate sampling procedure once the model has been trained, leading to more effective learning. We show that many existing estimators, such as contrastive divergence, pseudo/composite-likelihood, score matching, minimum Stein discrepancy estimator, non-local contrastive objectives, noise-contrastive estimation, and minimum probability flow, are special cases of the proposed approach, each expressed by a different (fixed) dual sampler. An empirical investigation shows that adapting the sampler during MLE can significantly improve on state-of-the-art estimators.

연구 동기 및 목표

• 지수족 모형에서 분할 함수의 비가역성으로 인해 최대우도추정(MLE)과 샘플링이 어려운 문제를 해결하기 위해.
• 대trastive divergence에서의 편향된 기울기와 HMC에서의 비가역 엔트로피 문제를 해결하기 위해 통합적이고 미분 가능한 프레임워크를 도입함으로써 기존 MLE 근사법의 한계를 극복하기 위해.
• 예를 들어 CD, 스코어 매칭, NCE 등 다양한 추정기를 단일 원본-이중 최적화 프레임워크 내에서 통합하고, 학습 가능한 샘플러를 도입하기 위해.
• 원본 모형과 이중 샘플러 간에 파라미터를 공유하는 방식으로, 에너지 기반 모형의 엔드 투 엔드 훈련을 가능하게 하여 샘플링 및 계산 효율성을 향상시키기 위해.
• MLE 과정에서 이중 샘플러를 학습시킬 경우 실세계 데이터에서 모델 품질과 일반화 능력이 크게 향상됨을 입증하기 위해.

제안 방법

• 보조 운동 에너지 변수를 포함한 확장된 모형에서 MLE를 원본-이중 최적화 문제로 공식화함으로써, 에너지 함수와 이중 샘플러를 동시에 학습할 수 있도록 한다.
• 신경망을 사용해 전이 동역학을 매개변수화함으로써 HMC를 일반화하는 새로운 신경망 아키텍처인 '동역학 임bed딩'을 도입하며, 이는 계산이 용이한 엔트로피를 유지한다.
• 원본 모형(에너지 함수)과 이중 샘플러(동역학 임bed딩) 간에 공유된 파라미터화를 도입함으로써, 별도로 수작업으로 설계된 샘플러가 필요 없어진다.
• 원본 모형과 이중 샘플러를 동시에 최적화하는 최소-최대 목적함수를 사용함으로써, 양쪽 요소를 통해 역전파(backpropagation)가 가능해진다.
• HMC를 모방하지만 비선형 전이 규칙을 유연하게 허용할 수 있는, 학습 가능한 미분 가능한 동역학 모델을 이중 분포로 표현한다.
• 학습된 샘플러가 없을 경우 기본적으로 HMC를 추론 메커니즘으로 사용함으로써, 안정성 확보와 이미지 복원 등의 응용 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 분할 함수가 비가역적인 지수족 모형에 대해 최대우도추정(MLE)을 수행할 수 있는 통합적이고 미분 가능한 프레임워크를 개발할 수 있는가?
• RQ2 HMC를 일반화하면서도 계산이 용이한 엔트로피 추정과 공유 파라미터화를 가능하게 하는 학습 가능한 신경망 기반 이중 샘플러를 설계할 수 있는가?
• RQ3 원본 모형과 이중 샘플러를 함께 훈련시키는 것이 고정되거나 수작업으로 설계된 샘플러보다 추정 정확도와 샘플 품질을 향상시키는가?
• RQ4 제안된 방법이 대비적 분산, 스코어 매칭, 노이즈 대비 추정 등 기존 추정기들을 포함하고, 그들을 초월할 수 있는가?
• RQ5 학습된 동역학 임bed딩을 통해 정규화 플로우나 별도의 GAN 훈련 없이도 효과적인 이미지 생성 및 복원이 가능한가?

주요 결과

• 합성 데이터에서 ADE는 정규화 플로우, SM, CD와 비교해 가장 낮은 MMD(Maximum Mean Discrepancy)를 기록하여 분포 일치 능력이 뛰어남을 입증한다.
• CIFAR-10에서 ADE는 HMC 정밀 조정을 거친 후 인ception 스코어 7.55를 기록하며, 스펙트럴 GAN(7.42)과 랭제빈 PCD(ensemble 기반 6.78)를 모두 능가한다.
• MNIST와 CIFAR-10에서 생성된 샘플의 에너지 분포가 실제 데이터의 분포와 매우 유사하여, 기저 데이터 다양체를 효과적으로 모델링하고 있음을 시사한다.
• ADE의 학습된 샘플러를 사용한 MNIST 이미지 복원은 HMC 단계를 반복적으로 적용함으로써 마스크된 영역을 정교하게 개선하여 일관되고 현실적인 출력을 생성한다.
• 절단 분석(Ablation study) 결과, 단순히 딥 LVM 초기화만으로는 7.26의 인ception 스코어를 기록하지만, HMC 정밀 조정을 거친 후에는 7.55로 향상됨을 확인하여 HMC 정밀 조정이 샘플 품질 향상에 기여함을 입증한다.
• ADE는 고정된 이중 샘플러를 가진 CD, NCE, 스코어 매칭 등의 기존 추정기를 특수 케이스로 포함하며, 통합 이론적 프레임워크를 확립한다.