[논문 리뷰] The data-driven Schroedinger bridge

Michele Pavon, Esteban G. Tabak외 1명|arXiv (Cornell University)|2018. 06. 04.

Advanced Differential Geometry Research참고 문헌 41인용 수 13

한 줄 요약

이 논문은 샘플만을 이용하여 두 확률 분포 사이의 가장 가능성이 높은 중간 진화를 추정하는 데이터 기반 슈뢰딩거 브리지 방법을 제안한다. 격자 기반 방법을 회피하며, 경계 조건의 최대우도 추정과 중요도 샘플링을 조합하여 슈뢰딩거 시스템을 반복적으로 해결함으로써 고차원 추론의 정확성과 적분에 대한 중요도 샘플링의 성능을 향상시킨다.

ABSTRACT

Erwin Schroedinger posed, and to a large extent solved in 1931/32 the problem of finding the most likely random evolution between two continuous probability distributions. This article considers this problem in the case when only samples of the two distributions are available. A novel iterative procedure is proposed, inspired by Fortet-Sinkhorn type algorithms. Since only samples of the marginals are available, the new approach features constrained maximum likelihood estimation in place of the nonlinear boundary couplings, and importance sampling to propagate the functions $φ$ and $\hatφ$ solving the Schroedinger system. This method is well-suited to high-dimensional settings, where introducing grids leads to numerically unfeasible or unreliable methods. The methodology is illustrated in two applications: entropic interpolation of two-dimensional Gaussian mixtures, and the estimation of integrals through a variation of importance sampling.

연구 동기 및 목표

• 시작 및 종료 분포의 밀도가 명시적으로 제공되지 않고 샘플만 있을 경우 슈뢰딩거 브리지 문제를 해결하는 것.
• 고차원에서 비현실적이게 되는 격자 기반 이산화를 피하는 수치적 방법을 개발하는 것.
• empirical 데이터로부터 가장 가능성이 높은 중간 진화 ρ(z,t)와 사후 전이 밀도 p*(t1,x,t2,y)를 추정하는 것.
• 기존의 슈뢰딩거 브리지 프레임워크를 샘플 기반 추론으로 확장하여 실세계의 자료 제한 상황에서도 적용 가능하게 하는 것.
• 슈뢰딩거 브리지로부터 표준 정규분포에서 목표 분포로의 운반 맵을 학습하여 중요도 샘플링의 성능을 향상시키는 것.

제안 방법

• 시작 분포 ρ0(x)와 종료 분포 ρ1(y)의 명시적 경계 조건을 {xi}와 {yj} 샘플로부터의 제약 최대우도 추정으로 대체한다.
• 연속 공간에서의 통합을 피하기 위해 슈뢰딩거 시스템 내 이중 함수 ϕ와 ˆϕ의 전파를 중요도 샘플링을 통해 추정한다.
• Fortet-Sinkhorn에 영감을 얻은 반복 알고리즘을 구현하여, 밀도 추정을 통해 ρ0로부터 ϕ(0,x)와 ρ1로부터 ˆϕ(1,y)를 번갈아가며 갱신한다.
• 슈뢰딩거 시스템의 해로부터 유도된 운반 맵 T를 사용하여 표준 정규분포의 샘플을 목표 분포로 매핑한다.
• 적분 ∫f(y)ρ1(y)dy를 추정하기 위해 샘플링 공간을 더 규칙적인 보조 공간(x-space)으로 변환함으로써 추정의 안정성을 향상시킨다.
• 슈뢰딩거 시스템 내 적분의 몬테카를로 추정을 우선 전이 모델 p(t1,x,t2,y)로부터 샘플링을 통해 수행한다.

실험 결과

연구 질문

• RQ1 시작 및 종료 분포의 샘플만 제공될 경우 고전적 슈뢰딩거 브리지 문제를 어떻게 재정의할 수 있는가?
• RQ2 격자 기반 이산화를 피하면서 고차원 환경에서 가장 가능성이 높은 중간 진화 ρ(z,t)를 효과적으로 추정할 수 있는 반복 절차는 무엇인가?
• RQ3 슈뢰딩거 브리지 프레임워크는 고차원, 소량의 샘플 환경에서 중요도 샘플링을 향상시킬 수 있는가?
• RQ4 정확도와 불확실성 측면에서 제안된 방법은 표준 몬테카를로 및 밀도 추정 기반 중요도 샘플링과 비교해 어떻게 성능을 내는가?
• RQ5 슈뢰딩거 브리지가 희소 자료에서 중간 진화 상태를 복원하거나 기저의 역학을 추론하는 데 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• 제안된 방법은 적분 I의 상대 오차가 0.09710 ± 0.13284로, 정확도와 불확실성 측면에서 순수 몬테카를로(0.10512 ± 0.28865)를 뛰어넘는 성능을 보였다.
• 데이터 기반 슈뢰딩거 브리지 방법은 샘플 수가 적은 고차원 공간에서 직접 밀도 추정의 강력한 대안을 제공한다.
• 표준 정규분포에서 목표 분포로의 운반 맵을 사용함으로써, 직접 ρ1을 추정하는 것보다 더 안정적이고 정확한 중요도 샘플링이 가능해졌다.
• 이 방법은 고차원 환경에서도 두 개의 가우시안 믹스처 사이의 중간 진화 ρ(z,t)를 성공적으로 재구성하였다.
• 제약 최대우도 추정과 중요도 샘플링을 기반으로 한 반복 절차는 샘플 기반 주변분포와 우선 동역학을 충족하는 해로 수렴하였다.
• 이 방법은 해류 추정, 진화 궤적 복원, 역확산 문제와 같이 희소하거나 샘플된 자료만 제공되는 응용 분야에 적합하다.