[논문 리뷰] MetFlow: A New Efficient Method for Bridging the Gap between Markov Chain Monte Carlo and Variational Inference

Achille Thin, Nikita Kotelevskii외 5명|arXiv (Cornell University)|2020. 02. 27.

Markov Chains and Monte Carlo Methods참고 문헌 39인용 수 5

한 줄 요약

MetFlow는 정규화 흐름을 사용하여 새로운 에르고딕 MCMC 커널 가족에서 제안을 생성함으로써 변동성 추론(VI)과 마르코프 체인 몬테카를로(MCMC)를 결합하는 새로운 방법을 제안한다. 기존 방법과 달리 역방향 커널을 회피하고 재파arameterization 트릭을 통해 엔드 투 엔드 미분 가능 학습을 가능하게 하여 고차원 문제에서 더 높은 계산 효율성과 다중모드 사후 분포 커버리지를 달성한 상태최고 수준의 샘플링 품질을 달성한다.

ABSTRACT

In this contribution, we propose a new computationally efficient method to combine Variational Inference (VI) with Markov Chain Monte Carlo (MCMC). This approach can be used with generic MCMC kernels, but is especially well suited to extit{MetFlow}, a novel family of MCMC algorithms we introduce, in which proposals are obtained using Normalizing Flows. The marginal distribution produced by such MCMC algorithms is a mixture of flow-based distributions, thus drastically increasing the expressivity of the variational family. Unlike previous methods following this direction, our approach is amenable to the reparametrization trick and does not rely on computationally expensive reverse kernels. Extensive numerical experiments show clear computational and performance improvements over state-of-the-art methods.

연구 동기 및 목표

• 표준 VI가 제한적인 변동성 가족에 의존하는 데서 비롯하는 한계와 MCMC가 느린 혼합 속도와 높은 계산 비용을 겪는 문제를 해결하기 위해.
• 정규화 흐름의 표현력과 MCMC의 이론적 보장성을 결합한, 다양한 적용이 가능한, 다양한 확장이 가능한 프레임워크를 통해 VI와 MCMC 간 격차를 메우기 위해.
• 하이브리드 VI-MCMC 방법에서 계산 비용이 큰 역방향 커널이 필요 없도록 하여, 초기 분포와 MCMC 전이를 함께 최적화할 수 있도록 하기 위해.
• 특히 변동성 오토인코더와 복잡한 베이지안 모델에서 고차원, 다중모드 사후 분포의 사후 근사 품질을 향상시키기 위해, 모드 커버리지와 다양성을 향상시키기 위해.
• 기본 MCMC 커널(예: MALA, HMC)과 호환되는 일반적인 목적의 재파arameterizable 프레임워크를 제공함으로써, 목표 분포에 대한 상세 균형과 불변성을 유지하기 위해.

제안 방법

• K단계 후의 마르코프 체인의 주변 분포에 의존하는 새로운 ELBO 목적함수를 도입하여, 초기 변동성 분포와 MCMC 전이 커널을 함께 최적화할 수 있도록 한다.
• 정규화 흐름을 통해 제안을 생성하는 결정론적 MCMC 커널의 가족인 MetFlow를 제안하며, 목표 분포의 불변성과 혼합 속도 향상을 보장한다.
• 재파arameterization 트릭을 활용해 MCMC 전이를 통해 역전파를 가능하게 하여, 역방향 커널이 필요 없고 엔드 투 엔드 학습이 가능하도록 한다.
• 역전이가 가능한 훈련 가능한 변환(예: R-NVP 블록)을 사용한 흐름 기반 변환 시퀀스를 활용해 복잡하고도 다재다능한 제안 분포를 생성함으로써 변동성 가족의 표현력을 향상시킨다.
• 스티어티컬 그래디언트 디센트와 조기 정지, ADAM 최적화를 사용해 MetFlow의 파라미터를 훈련하며, 반복 과정에서 고정된 및 무작위 노이즈 입력을 활용해 다양성을 제어한다.
• 엔코더를 고정하고 MetFlow를 각 데이터 포인트 조건 하에 사후 분포를 근사하도록 훈련함으로써, 확장 가능한 베이지안 추론을 위한 암시적 추론을 지원한다.

실험 결과

연구 질문

• RQ1 역방향 커널이 필요 없고 초기 분포와 전이를 함께 최적화할 수 있는, 재파arameterizable인 MCMC 기반 변동성 추론 프레임워크를 설계할 수 있는가?
• RQ2 MCMC에서 정규화 흐름을 제안으로 사용할 경우, 고차원, 다중모드 사후 분포에서 변동성 근사의 표현력과 정확도가 얼마나 향상되는가?
• RQ3 노이즈 주입 전략(결정론적, 의사난수, 완전 무작위)의 선택이 MetFlow에서 사후 샘플의 다양성과 품질에 어떻게 영향을 미치는가?
• RQ4 MNIST 혼합 모델과 이미지 복원과 같은 복잡한 벤치마크에서 MetFlow가 최신 기술의 VI 및 하이브리드 VI-MCMC 방법보다 더 뛰어난 샘플링 품질과 계산 효율성을 달성할 수 있는가?
• RQ5 MetFlow는 역전파를 통한 효율적이고 확장 가능한 학습을 유지하면서도 목표 분포에 대한 상세 균형과 불변성을 유지하는가?

주요 결과

• MetFlow는 표준 정규화 흐름이 하나의 모드로 붕괴하는 경우가 많은 다중모드 분포(예: MNIST 숫자 혼합)에서 뛰어난 사후 근사 품질을 달성하며, 다양한 다중모드 구조를 포괄한다.
• 이미지 복원 작업에서는 다양한 시작 숫자(예: 0, 3, 6, 9)에 대해 다양하고 타당한 복원 결과를 생성함으로써, 복잡한 잠재 공간의 효과적인 탐색을 보여준다.
• MetFlow의 완전 무작위 설정(각 단계에서 노이즈를 재생성)은 가장 높은 샘플 다양성을 생성하지만, 수렴하기 위해 더 많은 학습 에포크가 필요하다.
• Qualitative 샘플 분석을 통해 MetFlow는 평균장 VI와 NAF 기반 VI보다 사후 다중모드성을 더 잘 포착함을 입증한다.
• MetFlow는 샘플링 품질과 계산 효율성 측면에서 상태최고 수준의 성능를 달성하였으며, MNIST에서 192개 배치, 배치 크기 250으로 150 에포크 동안 안정적인 학습이 가능했다.
• Ablation 연구는 MetFlow의 설계—흐름 기반 제안과 역방향 커널 회피—가 이전의 하이브리드 VI-MCMC 방법보다 더 안정적이고 표현력 있는 추론을 가능하게 한다는 것을 확인한다.