[논문 리뷰] Annealed Flow Transport Monte Carlo

Michael Arbel, Alexander Matthews외 1명|arXiv (Cornell University)|2021. 02. 15.

Model Reduction and Neural Networks참고 문헌 73인용 수 4

한 줄 요약

이 논문은 복잡한 목표 분포 하에서 정규화 상수와 기대값을 추정하는 데 개선된 성능을 보이는 새로운 몽테카를로 방법인 Annealed Flow Transport(AFT)를 제안한다. AFT는 순차적 몽테카를로(SMC)와 정규화 흐름(NF)을 결합하여, 점진적으로 목표 분포로 수렴하는 입자를 운반하는 NF를 학습함으로써 분산을 감소시키고 모드 붕괴를 완화한다. 이로 인해 적은 온도 수준으로도 표준 SMC보다 뛰어난 성능을 달성하며, 연속 시간 근사에서 제어된 확산 과정으로 수렴하는 이론적 수렴성을 확보한다.

ABSTRACT

Annealed Importance Sampling (AIS) and its Sequential Monte Carlo (SMC) extensions are state-of-the-art methods for estimating normalizing constants of probability distributions. We propose here a novel Monte Carlo algorithm, Annealed Flow Transport (AFT), that builds upon AIS and SMC and combines them with normalizing flows (NFs) for improved performance. This method transports a set of particles using not only importance sampling (IS), Markov chain Monte Carlo (MCMC) and resampling steps - as in SMC, but also relies on NFs which are learned sequentially to push particles towards the successive annealed targets. We provide limit theorems for the resulting Monte Carlo estimates of the normalizing constant and expectations with respect to the target distribution. Additionally, we show that a continuous-time scaling limit of the population version of AFT is given by a Feynman--Kac measure which simplifies to the law of a controlled diffusion for expressive NFs. We demonstrate experimentally the benefits and limitations of our methodology on a variety of applications.

연구 동기 및 목표

• 대규모 차이를 보이는 분포 간 전이 시 고분산 추정기 문제를 해결하기 위해.
• 직접 단순 사전 분포에서 출발하는 것이 아니라 중간 온도 단계에서 흐름을 학습함으로써 정규화 흐름 기반 운반 지도에서 흔히 발생하는 모드 붕괴와 꼬리 부족 문제를 해결하기 위해.
• SMC의 강점(재표본, MCMC, 중요도 샘플링)과 표현력이 뛰어난 정규화 흐름을 융합하여 더 정확하고 안정적인 추론을 가능하게 하기 위해.
• 제안된 알고리즘 하에서 몽테카를로 추정기의 이론적 보장을 확립하기 위해, 특히 약한 대수법칙과 중심극한정리 등을 포함한다.
• 연속 시간 근사에서 AFT가 제어된 확산 과정으로 단순화되는 파울리-카시 측도로 수렴함을 보여주기 위해.

제안 방법

• AFT는 πₖ ∝ π₀^(1−βₖ)π_K^βₖ 형태의 순차적 온도 조절 목표 분포를 사용하며, 0 = β₀ < β₁ < ... < β_K = 1 이다. 이는 단순한 초기 분포 π₀에서 목표 분포 π_K = π로 연결된다.
• 각 단계 k에서, (T_{k+1})#πₖ와 π_{k+1} 사이의 KL 발산을 최소화하도록 정규화 흐름 T_{k+1}을 학습함으로써 πₖ의 입자를 π_{k+1}를 더 잘 근사하는 분포로 운반한다.
• 흐름을 통한 운반 후, π_{k+1}/πₖ 비율을 사용하여 입자를 재가중하여 π_{k+1}의 중요도 샘플링 근사로 사용한다.
• 그 후 입자들은 재표본 및 π_{k+1}를 불변 분포로 가지는 MCMC 커널을 통해 변형되어 다양성을 유지하고 흐름 근사 오차를 보정한다.
• Unadjusted Langevin Algorithm(ULA) 커널을 사용하여 연속 시간 척도 근사로 확장하였으며, 이로 인해 파울리-카시 측도로 수렴하는 것을 보였다.
• 표현력 있는 NF가 가능할 경우, 최종 측도는 제어된 확산 과정의 법칙과 일치한다.

실험 결과

연구 질문

• RQ1 정규화 흐름을 효과적으로 활용하여 SMC 샘플러의 효율성과 정확도를 높일 수 있는가? 특히 중요도 가중치의 분산을 줄일 수 있는가?
• RQ2 직접 사전 분포에서가 아니라 중간 온도 단계에서 운반 지도를 학습하면 모드 붕괴 문제를 완화하고 샘플링 품질을 향상시킬 수 있는가?
• RQ3 학습 기반 운반 체계를 SMC에 적용했을 때 몽테카를로 추정기의 이론적 보장은 무엇인가?
• RQ4 AFT의 연속 시간 근사는 제어된 확산과 같은 확률 과정과 어떻게 관련이 있는가?
• RQ5 더 적은 온도 단계로도 표준 SMC보다 추정 정확도와 수렴 속도에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• AFT는 기준 SMC보다 온도 수를 줄였음에도 불구하고 벤치마크 문제에서 더 낮은 추정 오차를 기록하며 더 뛰어난 샘플 효율성을 보였다.
• 이론적 분석을 통해 학습된 운반 지도가 있음에도 불구하고 AFT 추정기의 약한 대수법칙과 중심극한정리를 확립하였다.
• ULA 커널을 사용하고 재표본을 생략한 연속 시간 근사에서 AFT는 파울리-카시 측도로 수렴하며, 표현력 있는 흐름이면 이 측도는 제어된 확산 과정의 법칙으로 단순화된다.
• 이진화된 MNIST와 공간 Cox 과정에서의 실험을 통해 AFT는 기준 SMC와 변분 추론보다 더 정확한 정규화 상수 추정과 더 나은 사후 근사 추정을 제공하였다.
• 중간 온도 조절 목표 분포를 활용함으로써 직접 정규화 흐름 학습에서 흔히 발생하는 모드 붕괴와 꼬리 부족 문제의 영향을 효과적으로 줄였다.
• 제거 실험을 통해 각 전이 단계에서 충분한 HMC 업데이트 수가 AFT 성능에 매우 중요하며, 특히 고차원 또는 도전적인 목표 분포에서 그러한 영향이 두드러진다.