[논문 리뷰] Schrödinger Bridge Samplers

Espen Bernton, Jeremy Heng외 2명|arXiv (Cornell University)|2019. 12. 31.

Markov Chains and Monte Carlo Methods참고 문헌 50인용 수 11

한 줄 요약

이 논문은 기준 마코프 과정의 전이 커널을 반복 비례 적합(IPF) 근사와 회귀 기반 정책 학습을 통해 반복적으로 수정함으로써 목표 분포로의 KL 발산을 최소화하는 새로운 순차적 몽테카를로 방법인 슈뢰딩거 브리지 샘플러(SSB)를 소개한다. 이 방법은 표준 SMC에 비해 정규화 상수 추정에서 훨씬 낮은 분산을 달성하며, 특히 고차원 및 비공액 설정에서 수개의 주기 수준까지 감소한다.

ABSTRACT

Consider a reference Markov process with initial distribution $π_{0}$ and transition kernels $\{M_{t}\}_{t\in[1:T]}$, for some $T\in\mathbb{N}$. Assume that you are given distribution $π_{T}$, which is not equal to the marginal distribution of the reference process at time $T$. In this scenario, Schrödinger addressed the problem of identifying the Markov process with initial distribution $π_{0}$ and terminal distribution equal to $π_{T}$ which is the closest to the reference process in terms of Kullback--Leibler divergence. This special case of the so-called Schrödinger bridge problem can be solved using iterative proportional fitting, also known as the Sinkhorn algorithm. We leverage these ideas to develop novel Monte Carlo schemes, termed Schrödinger bridge samplers, to approximate a target distribution $π$ on $\mathbb{R}^{d}$ and to estimate its normalizing constant. This is achieved by iteratively modifying the transition kernels of the reference Markov chain to obtain a process whose marginal distribution at time $T$ becomes closer to $π_T = π$, via regression-based approximations of the corresponding iterative proportional fitting recursion. We report preliminary experiments and make connections with other problems arising in the optimal transport, optimal control and physics literatures.

연구 동기 및 목표

• 기준 과정의 최종 근연 분포가 목표 분포와 크게 다를 경우 발생하는 표준 SMC 및 AIS 방법의 한계를 해결한다. 이 경우 중요도 가중치의 분산이 높아진다.
• 통제 가능한 SMC 샘플러에서 발생하는 공액 제약을 극복하기 위해 초기 분포가 아닌 전이 커널만 수정함으로써 더 넓은 적용 가능성을 확보한다.
• 고차원 연속 상태공간에서 정확한 IPF 단계 계산을 피하기 위해 회귀 기반 정책 학습을 활용한 확장 가능한 근사 IPF 체계를 개발한다.
• 슈뢰딩거 브리지 원리를 통해 과정의 최종 분포를 목표 분포와 일치시키기 위해 전이 커널을 반복적으로 개선함으로써 정규화 상수 추정의 효율성을 향상시킨다.
• 슈뢰딩거 브리지 문제의 관점에서 최적 운반, 제어 이론, 몽테카를로 샘플링을 통합하는 프레임워크를 제공한다.

제안 방법

• 목표 분포와 기준 과정의 KL 발산이 최소가 되는 초기 분포 π₀와 최종 분포 π_T = π인 마코프 과정을 찾는 다중 근연 슈뢰딩거 브리지 문제로 문제를 재구성한다.
• 슈뢰딩거 브리지 문제를 해결하는 데 사용되는 반복 비례 적합(IPF) 재귀를, 계산이 불가능한 커널 업데이트를 함수 근사로 대체하는 회귀 기반 정책 학습을 통해 근사화한다.
• Heng 등(2017)의 영감을 받은 약간의 동적 프rogram밍(ADP) 접근법을 사용하여 각 시간 단계에서 정책(즉, 전이 커널 수정)을 추정함으로써 과정의 반복적 개선을 가능하게 한다.
• 연속 시간 슈뢰딩거 브리지 역학의 옐러-마루야마 이산화를 구현하여 확산 과정에 대한 실용적인 알고리즘을 유도한다.
• IPF 반복 과정에서 따뜻한 시작(warm starts)과 조기 정지(early stopping)를 적용하고, MALA 커널을 통한 입자 재생으로 제안 품질을 유지한다.
• 슈뢰딩거 브리지와 최적 제어 간의 등가성을 활용하여 커널 업데이트를 정책 개선으로 프레임워크화함으로써 제안 메커니즘의 종단 간 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 연속 상태공간에서 회귀 기반 정책 학습을 사용해 슈뢰딩거 브리지 문제를 효과적으로 근사화할 수 있는가?
• RQ2 제안된 슈뢰딩거 브리지 샘플러는 정규화 상수 추정에서 분산 감소 측면에서 표준 SMC 및 통제 가능한 SMC와 비교해 어떻게 성능을 내는가?
• RQ3 정책 클래스에 대해 초기 분포나 전이 커널이 공액이 아니더라도 이 방법을 어느 정도 적용할 수 있는가?
• RQ4 연속 시간 브리지 문제의 ADP 알고리즘에 옐러-마루야마 근사를 사용할 경우 어떤 영향을 미치는가?
• RQ5 신경망과 같은 융통성 있는 함수 클래스나 종단 간 미분 가능한 IPF 전개를 사용해 성능 향상을 추가로 달성할 수 있는가?

주요 결과

• 선형 정규분포 가우시안 설정에서 SSB 샘플러는 표준 SMC에 비해 로그 정규화 상수 추정기의 RMSE를 수개의 주기 수준으로 감소시켰다.
• 베이지안 로지스틱 회귀에서 SSB 샘플러는 평균 로그 정규화 상수 추정치 -126.47 ± 0.034를 기록했고, 표준 SMC는 -128.11 ± 1.47을 기록하여 분산 감소가 뚜렷하게 나타났다.
• 동일한 벽 시계 시간 동안 실행했을 때 SSB 샘플러는 추정기 효율성 측면에서 표준 SMC를 능가했으며, 실용적인 계산적 이점이 있음을 보여주었다.
• ADP 알고리즘의 옐러-마루야마 근사는 정확한 해에 비해 합리적인 대안을 제공했으며, 실용적 구현에서의 강건성을 시사했다.
• 진짜 최적 정책을 포함하지 않는 정책 클래스(예: 가우시안 함수)를 사용해도 방법이 효과를 유지함으로써 모델 잘못 설정에 대한 내성성을 보였다.
• IPF 반복 과정에서 따뜻한 시작과 조기 정지를 사용함으로써 수렴 속도와 계산 효율성이 향상되었고, 정확도 손실 없이도 가능했다.