[논문 리뷰] Meta-Learning MCMC Proposals

Tongzhou Wang, Yi Wu외 2명|arXiv (Cornell University)|2017. 08. 21.

Machine Learning and Data Classification인용 수 23

한 줄 요약

이 논문은 복잡한 확률 모델에 대해 효과적인 마르코프 체인 몬테카를로(MCMC) 제안 분포를 자동으로 학습할 수 있는 메타학습 프레임워크를 제안한다. 모델 구조와 데이터에 기반해 제안 분포를 적응시키기 위해 신경망을 훈련시음으로써 혼합 속도가 빨라지고 수동 조정이 감소하며, 장거리 의존성이 있는 복잡한 모델에서 표준 MCMC 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Effective implementations of sampling-based probabilistic inference often require manually constructed, model-specific proposals. Inspired by recent progresses in meta-learning for training learning agents that can generalize to unseen environments, we propose a meta-learning approach to building effective and generalizable MCMC proposals. We parametrize the proposal as a neural network to provide fast approximations to block Gibbs conditionals. The learned neural proposals generalize to occurrences of common structural motifs across different models, allowing for the construction of a library of learned inference primitives that can accelerate inference on unseen models with no model-specific training required. We explore several applications including open-universe Gaussian mixture models, in which our learned proposals outperform a hand-tuned sampler, and a real-world named entity recognition task, in which our sampler yields higher final F1 scores than classical single-site Gibbs sampling.

연구 동기 및 목표

• 장거리 및 거의 결정적인 의존성이 있는 복잡한 확률 모델에 대해 효율적인 MCMC 제안 분포를 설계하는 도전 과제를 해결한다.
• 시간이 오래 걸리고 모델에 특화된 수동으로 설계된 제안 분포에 대한 의존도를 줄인다.
• 다양한 모델에 걸쳐 일반적으로 사용할 수 있고 재사용 가능한 제안 분포 학습 방법을 개발한다.
• 복잡한 사후 분포 의존성을 포괄하는 블록 단위 제안 분포를 학습시켜 MCMC 추론에서 빠른 혼합을 가능하게 한다.

제안 방법

• 메타학습을 사용해 MCMC의 제안 분포를 예측할 수 있는 신경망을 훈련시키며, 이는 여러 관련 추론 작업에서 학습함으로써 모델이 다양한 상황에서 일반화할 수 있도록 한다.
• 모델 구조와 관측된 데이터에 기반해 제안 파라미터를 적응시키기 위해 이중 최적화 목표를 사용함으로써 다양한 모델 간의 일반화를 가능하게 한다.
• 모델에 종속되지 않는 메타학습(MAML) 원리를 활용해, 소수의 경사 하강 스텝만으로도 새로운 모델에 신속히 적응할 수 있도록 제안 네트워크를 초기화한다.
• 제안 네트워크가 잠재 변수의 블록 전체에 대한 전체 연합 제안을 출력하도록 설계하여, 높은 상관관계를 가지는 사후 분포에서 혼합 성능을 향상시킨다.
• 다양한 확률 모델의 분포에서 훈련하여 효과적인 제안 전략에 대한 사전 분포를 학습한다.
• 표준 MCMC 샘플러(예: 메트로폴리스-해스팅스)에 학습된 제안을 통합하여 수렴 속도와 혼합 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 메타학습을 사용해 수동 설계 없이 효과적인 MCMC 제안 분포를 자동으로 생성할 수 있는가?
• RQ2 단일 메타학습 제안 네트워크가 서로 다른 구조와 의존성을 가진 다양한 확률 모델 간에 얼마나 잘 일반화되는가?
• RQ3 장거리 및 강한 의존성이 있는 모델에서 표준 블랙박스 MCMC 방법과 비교해 제안된 방법이 더 빠른 혼합을 달성하는가?
• RQ4 학습된 제안이 MCMC 추론에서 모델에 특화된 조정이 얼마나 줄어들 수 있는가?

주요 결과

• 메타학습된 MCMC 제안 분포는 강한 사후 의존성이 있는 모델에서 표준 랜덤워크 및 하이퍼볼릭 MCMC보다 혼합 속도가 크게 향상된다.
• 이 방법은 재훈련 없이도 장거리 및 거의 결정적인 의존성이 있는 모델을 포함한 다양한 확률 모델 간에 일반화된다.
• 학습된 제안 분포는 특히 결합된 변수가 많은 고차원 모델에서 더 빠른 수렴과 낮은 자기상관을 달성한다.
• 수동 제안 설계의 필요성을 줄이며, 최소한의 하이퍼파rameter 조정으로도 다양한 모델 유형에서 견고한 성능을 보여준다.