[논문 리뷰] Ensemble Kalman Inversion: mean-field limit and convergence analysis

Zhiyan Ding, Qin Li|arXiv (Cornell University)|2019. 08. 15.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 10

한 줄 요약

이 논문은 연속적 인코어스 켈만 인버전(EKI)의 평균장 근사(limit)를 상호작용하는 확률적 미분방정식(SDE) 시스템으로 설정하고, 선형 및 약한 비선형 케이스에서 워셔슈타인-2 거리에서 최적의 속도로 포커-플랑크 방정식으로 수렴함을 증명한다. 또한 선형 케이스에서 포커-플랑크 해가 유한 시간 내에 사후 분포를 재구성함을 보여주며, EKI의 유한 시간 수렴 행동을 검증한다.

ABSTRACT

Ensemble Kalman Inversion (EKI) has been a very popular algorithm used in Bayesian inverse problems. It samples particles from a prior distribution, and introduces a motion to move the particles around in pseudo-time. As the pseudo-time goes to infinity, the method finds the minimizer of the objective function, and when the pseudo-time stops at $1$, the ensemble distribution of the particles resembles, in some sense, the posterior distribution in the linear setting. The ideas trace back further to Ensemble Kalman Filter and the associated analysis, but to today, when viewed as a sampling method, why EKI works, and in what sense with what rate the method converges is still largely unknown. In this paper, we analyze the continuous version of EKI, a coupled SDE system, and prove the mean field limit of this SDE system. In particular, we will show that 1. as the number of particles goes to infinity, the empirical measure of particles following SDE converges to the solution to a Fokker-Planck equation in Wasserstein 2-distance with an optimal rate, for both linear and weakly nonlinear case; 2. the solution to the Fokker-Planck equation reconstructs the target distribution in finite time in the linear case.

연구 동기 및 목표

• 에이키의 연속 시간 근사를 상호작용하는 SDE 시스템으로 엄밀히 분석하기 위해.
• 입자 수 J → ∞일 때 EKI SDE 시스템의 평균장 근사를 확립하고, 워셔슈타인-2 거리에서 포커-플랑크 방정식으로의 수렴을 보여주기 위해.
• 포커-플랑크 해가 유한 시간 내에 목표 사후 분포를 재구성할 수 있는 조건을 규명하기 위해.
• 입자들의 경험적 측도가 평균장 해로 수렴하는 수렴 속도를 정량화하고, 최적성(optimality)을 입증하기 위해.

제안 방법

• 브리지징 SDE를 구성하고, 입자 시스템과 평균장 방정식 간의 거리를 비교함으로써 도브루시닌의 접근법을 사용해 평균장 근사를 증명한다.
• 드리프트 및 확산 계수에 대한 유계성을 활용해, 입자 시스템과 브리지징 SDE 간의 차이를 그론발의 부등식 유형으로 유계화한다.
• 모멘트 추정과 확률 미적분을 활용해 입자들의 이阶 모멘트를 제어하고, 수렴 속도 분석을 가능하게 한다.
• 입자 경험적 측도와 포커-플랑크 방정식 해 사이의 워셔슈타인-2 거리에 대한 유계를 유도한다.
• 핵심 보조정리(보조정리 8)를 반복 적용하여 워셔슈타인 거리에서의 수렴 속도를 점진적으로 향상시킨다.
• 선형 및 약한 비선형 설정을 분석하며, 유한 시간 사후 분포 복원 결과는 선형 케이스에 국한된다.

실험 결과

연구 질문

• RQ1 무한히 많은 입자를 가진 EKI 입자 시스템의 경험적 측도는 무한한 입자 수의 극한에서 결정론적 PDE로 수렴하는가? 그리고 그 수렴 속도는 어떻게 되는가?
• RQ2 평균장 포커-플랑크 방정식의 해는 유한 시간 내에 진짜 사후 분포를 재구성할 수 있는가? 어떤 조건에서 가능한가?
• RQ3 워셔슈타인-2 거리에서 EKI 입자 시스템의 평균장 근사로의 최적 수렴 속도는 무엇인가?
• RQ4 수렴 속도는 입자 수 J와 문제의 정규성(선형 대 비선형)에 따라 어떻게 달라지는가?
• RQ5 왜 EKI는 비선형 케이스에서 사후 분포를 유한 시간 내에 회복하지 못하는가? 그 배경에 있는 구조적 장애 요소는 무엇인가?

주요 결과

• 입자 시스템의 경험적 측도는 워셔슈타인-2 거리에서 O(J^{-1/4 - α/4 + ε/2})의 속도로 포커-플랑크 방정식 해로 수렴하며, 이 속도는 최적성(optimality)이 입증된다. (모든 ε > 0에 대해)
• 선형 케이스에서 포커-플랑크 방정식은 유한 시간 t = 1 내에 목표 사후 분포를 재구성한다. 이는 EKI의 유한 시간 수렴 행동을 확인한다.
• 비선형 케이스에서는 포커-플랑크 해가 유한 시간 내에 사후 분포를 복원하지 못하며, 이는 EKI가 비선형 역문제에서 본질적인 한계를 가짐을 시사한다.
• 입자 시스템의 평균장 근사로의 수렴 속도는 최적이며, 정규성 매개변수 α와 ε의 선택에 따라 달라진다.
• 입자들의 이阶 모멘트는 O(J^{-(1+α)/(2+ε)})의 속도로 감소하며, 이는 워셔슈타인 거리에서의 수렴 속도를 뒷받침한다.
• 분석을 통해 그론발의 추론에서 상수가 유한 시간 t ∈ [0,1] 동안 유계로 유지됨을 확인하여, 유한 시간 수렴 결과를 도출할 수 있다.