[논문 리뷰] Accelerating proximal Markov chain Monte Carlo by using an explicit stabilised method

Luis Felipe Vargas, Marcelo Pereyra외 1명|Edinburgh Research Explorer|2019. 08. 23.

Medical Imaging Techniques and Applications참고 문헌 51인용 수 5

한 줄 요약

이 논문은 더모-요시다 정규화된 랭지에빈 확산에 대해 표준 오일러-마르야마 이산화를 명시적 안정화된 직교 룬게-쿠타-체비셰프(ROCK) 방법으로 대체함으로써 수렴 속도를 향상시키는 새로운 프락시멀 마르코프 체인 몬테카를로(MCMC) 방법을 제안한다. 동일한 계산 비용에서 이 방법은 이미징 문제에 특히 총변동성(TV)과 ℓ₁ 사전분포를 갖는 경우에 오일러 기반 프락시멀 MCMC보다 훨씬 더 빠른 혼합 속도, 더 높은 유효 표본 크기, 더 낮은 평균 제곱 오차를 달성한다.

ABSTRACT

We present a highly efficient proximal Markov chain Monte Carlo methodology to perform Bayesian computation in imaging problems. Similarly to previous proximal Monte Carlo approaches, the proposed method is derived from an approximation of the Langevin diffusion. However, instead of the conventional Euler-Maruyama approximation that underpins existing proximal Monte Carlo methods, here we use a state-of-the-art orthogonal Runge-Kutta-Chebyshev stochastic approximation that combines several gradient evaluations to significantly accelerate its convergence speed, similarly to accelerated gradient optimisation methods. The proposed methodology is demonstrated via a range of numerical experiments, including non-blind image deconvolution, hyperspectral unmixing, and tomographic reconstruction, with total-variation and $\ell_1$-type priors. Comparisons with Euler-type proximal Monte Carlo methods confirm that the Markov chains generated with our method exhibit significantly faster convergence speeds, achieve larger effective sample sizes, and produce lower mean square estimation errors at equal computational budget.

연구 동기 및 목표

• 고차원적이고 로그-볼록(posterior)을 갖는 베이지안 이미징 문제에 대한 프락시멀 MCMC 방법의 계산 효율성을 향상시키는 것.
• 전통적인 오일러-마르야마 기반 프락시멀 MCMC의 느린 수렴 문제를 고도화된 확률적 수치 적분 기법을 활용하여 해결하는 것.
• 탈색, 분리, 재구성과 같은 어려운 이미징 작업에서 더 빠른 샘플링과 더 나은 추정 정확도를 가능하게 하는 것.
• 와서슈타인 거리 분석을 통해 수렴 속도와 샘플링 효율성의 우수성을 이론적이고 실증적으로 입증하는 것.
• 불확실성 정량화가 필요한 복잡한 이미징 문제로의 프락시멀 MCMC 적용 범위를 확장하는 것.

제안 방법

• 방법은 오일러-마르야마 근사 대신 랭지에빈 확산에 대해 최신 기술인 직교 룬게-쿠타-체비셰프(ROCK) 확률적 적분기법을 사용한다.
• ROCK 스킴을 모레우-요시다 정규화된 비조정 랭지에빈 알고리즘에 적용하여 단계당 다중 기울기 평가를 가능하게 하여 안정성과 수렴 속도를 향상시킨다.
• 이 방법은 확률적 수치 해석에 기반하며, 명시적 오일러보다 더 효과적으로 굳어진 확산 과정을 다룰 수 있는 안정화된 명시적 방법을 사용한다.
• 이론적 수렴 분석은 가우시안 목표에 대해 와서슈타인 거리 기반으로 수행되며, 근사 오차에 대한 명시적 경계가 유도된다.
• 고차원 가우시안 모델로의 확장을 위해 성분별 분석을 통해 수렴 속도 비교가 가능해지며, 이는 타당한 수렴 속도 비교를 가능하게 한다.
• ROCK 스킴의 매개변수 선택은 안정성 함수의 스펙트럴 반경 최소화를 통해 유도되며, 오차 항의 감쇠를 최적화한다.

실험 결과

연구 질문

• RQ1 오일러-마르야마와 유사한 명시적 안정화 적분기법인 ROCK이 베이지안 이미징에서 프락시멀 MCMC 샘플링을 상당히 가속화할 수 있는가?
• RQ2 ROCK 기반 프락시멀 MCMC의 수렴 속도가 유효 표본 크기 및 평균 제곱 오차 측면에서 오일러-마르야마 기반 방법과 비교해 어떻게 되는가?
• RQ3 가우시안 목표 분포에 대해 제안된 방법의 이론적 수렴 속도는 와서슈타인 거리 기준으로 어떻게 되는가?
• RQ4 비선형 이미징 문제, 예를 들어 비맹렬 탈색 및 단층촬영 재구성에서 이 방법은 샘플링 효율성을 어느 정도 향상시키는가?
• RQ5 ROCK 스킴은 기하학적 에르고딕성과 사후 정확도를 유지하면서 프락시멀 MCMC에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 ROCK 기반 프락시멀 MCMC 방법은 모든 테스트된 이미징 문제에서 오일러-마르야마 기반 방법보다 상당히 더 빠른 수렴 속도를 달성한다.
• 동일한 계산 비용에서 이 방법은 더 높은 유효 표본 크기를 생성하여 더 나은 혼합과 더 신뢰할 수 있는 사후 추정을 나타낸다.
• 이미지 탈색, 고분광 분리, 단층촬영 재구성에서 평균 제곱 추정 오차가 항상 낮아, 더 높은 정확도를 입증한다.
• 이론적 분석 결과, 목표 분포와 마르코프 체인 분포 간의 와서슈타인 거리가 ROCK 안정성 함수의 스펙트럴 반경에 의해 결정되는 비율로 감소하는 것으로 나타났으며, 이는 오일러-마르야마보다 작다.
• 조건 수와 스텝 크기 선택에 따라 수렴 경계가 의존하는 바, 조건이 나쁜 문제에서도 안정성과 효율성을 유지한다.
• 조건 수와 안정성 제약 조건을 통한 매개변수 튜닝은 오차 항의 최적 감쇠를 보장하며, 이는 방법의 강건성과 확장 가능성의 확인을 제공한다.