[논문 리뷰] Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau

Alain Durmus, Éric Moulines외 1명|arXiv (Cornell University)|2016. 12. 22.

Medical Imaging Techniques and Applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 고차원, 비연속, 로그-볼록 영상 모델에서 효율적인 베이지안 추론을 가능하게 하는 새로운 프록시멀 마르코프 체인 몬테카를로(MCMC) 방법인 MYULA를 소개한다. 랭지에빈 역학과 모어-요시다 레귤라라이제이션을 조합하여, 프록시멀 연산자를 통해 대상 밀도를 스무딩함으로써 MYULA는 빠른 수렴과 계산 효율성을 달성하며, 정확도와 속도 면에서 기존의 Px-MALA와 같은 방법들을 능가한다. 이는 불확실성 정량화 및 모델 선택과 같은 고급 베이지안 분석을 가능하게 한다.

ABSTRACT

Modern imaging methods rely strongly on Bayesian inference techniques to solve challenging imaging problems. Currently, the predominant Bayesian computation approach is convex optimisation, which scales very efficiently to high dimensional image models and delivers accurate point estimation results. However, in order to perform more complex analyses, for example image uncertainty quantification or model selection, it is necessary to use more computationally intensive Bayesian computation techniques such as Markov chain Monte Carlo methods. This paper presents a new and highly efficient Markov chain Monte Carlo methodology to perform Bayesian computation for high dimensional models that are log-concave and non-smooth, a class of models that is central in imaging sciences. The methodology is based on a regularised unadjusted Langevin algorithm that exploits tools from convex analysis, namely Moreau-Yoshida envelopes and proximal operators, to construct Markov chains with favourable convergence properties. In addition to scaling efficiently to high dimensions, the method is straightforward to apply to models that are currently solved by using proximal optimisation algorithms. We provide a detailed theoretical analysis of the proposed methodology, including asymptotic and non-asymptotic convergence results with easily verifiable conditions, and explicit bounds on the convergence rates. The proposed methodology is demonstrated with four experiments related to image deconvolution and tomographic reconstruction with total-variation and $\ell_1$ priors, where we conduct a range of challenging Bayesian analyses related to uncertainty quantification, hypothesis testing, and model selection in the absence of ground truth.

연구 동기 및 목표

• 고차원, 비연속 베이지안 영상 문제에 대한 기존 MCMC 방법의 계산 비효율성과 이론적 보장 부족 문제를 해결하기 위해.
• 효율적인 볼록 최적화와 계산이 복잡한 베이지안 추론 사이의 격차를 메우기 위해, 불확실성 정량화 및 모델 선택과 같은 고급 분석을 가능하게 하기 위해.
• 기존의 프록시멀 최적화 알고리즘, 특히 전진-뒤로 스플리팅을 사용하는 것들과 호환되는 일반 목적의 MCMC 프레임워크를 개발하기 위해.
• 모델 차원과 문제 파라미터에 명시적인 의존성을 가지는 엄밀한 비점근 수렴 보장을 제공하기 위해.
• 총변동 및 ℓ₁ 우선순위를 포함한 실제 영상 역문제에 대해, 불확실성 정량화 및 모델 비교를 포함한 효과성을 입증하기 위해.

제안 방법

• 대상 사후 밀도의 부드럽고 로그-볼록한 근사치를 만들기 위해 모어-요시다 유형의 레귤라라이제이션을 사용하여, 비조정 랭지에빈 알고리즘(ULA)을 통한 효율적 샘플링을 가능하게 한다.
• 영상 우선순위에서 흔히 사용되는 총변동 및 ℓ₁ 노름과 같은 비연속 정규화를 다루기 위해 볼록 해석학의 프록시멀 연산자를 활용한다.
• 결과적으로, MYULA(Moreau-Yoshida Unadjusted Langevin Algorithm)라고 불리는 알고리즘은 정규화된 포텐셜에 기반한 기울기 기반 업데이트를 사용하여 고차원에서의 계산 가능성을 보장한다.
• 스토크래틱 근사 및 마르코프 체인 이론의 도구를 사용하여 수렴성을 분석하고, 목표 분포와의 워샤르의 거리에 대한 비점근 경계를 도출한다.
• 이 방법은 전진-뒤로 스플리팅을 통해 해결 가능한 모든 모델에 직접 적용 가능하게 설계되어 있으며, 기존의 영상 최적화 파이프라인과 넓게 호환된다.
• 실제 적용에서 샘플링 효율성을 향상시키기 위해 목표 수용률(~45%)을 유지하는 적응형 스텝 사이즈 전략을 사용한다.

실험 결과

연구 질문

• RQ1 영상 역문제에서 발생하는 비연속, 고차원, 로그-볼록 사후분포에서 효율적으로 샘플링할 수 있는 프록시멀 MCMC 방법을 설계할 수 있는가?
• RQ2 모어-요시다 엔velop를 어떻게 활용하여 목표 밀도를 정규화함으로써 원래 문제의 구조를 유지하면서도 효율적인 샘플링을 가능하게 할 수 있는가?
• RQ3 결과로 도출된 알고리즘의 비점근 수렴 성질은 무엇이며, 이는 차원과 문제 파라미터에 따라 어떻게 스케일링되는가?
• RQ4 어려운 영상 시나리오에서 기존의 MCMC 방법들, 예를 들어 Px-MALA와 비교해 본다면, 정확도와 계산 효율성 면에서 본 방법은 어떻게 성능을 내는가?
• RQ5 기본 진짜 값이 없는 상황에서, 이 방법이 불확실성 정량화 및 모델 선택과 같은 고급 베이지안 분석을 지원할 수 있는가?

주요 결과

• 마이크로스코피 실험에서 MYULA는 Px-MALA 대비 약 10배의 계산 속도 향상을 달성했으며, $ n = 10^5 $개의 샘플을 사용하였다.
• 임계값 $ \eta_\alpha $ 추정에서 MYULA의 근사 오차는 Px-MALA 대비 0.1% 미만이었으며, 이는 매우 높은 정확도를 의미한다.
• 불확실성 정량화 결과, 분자의 위치에 대해 수직 방향으로 $ \pm 78nm $, 수평 방향으로 $ \pm 125nm $의 사후 불확실성이 확인되었으며, 실험 정밀도 약 80nm와 매우 유사하였다.
• SALSA를 사용하여 MAP 추정치 $ \hat{x}_{MAP} $ 는 2.3초 내에 계산되었으며, 이는 방법의 빠른 최적화 파이프라인과의 호환성을 보여준다.
• 모델 차원에 대한 명시적 의존성을 가지는 비점근 수렴 경계가 유도되었으며, 실용적 사용을 위한 이론적 보장을 제공하였다.
• 실제 마이크로스코피 데이터셋에서 기저 진짜 값이 없음에도 불구하고, 이 방법은 베이지안 불확실성 정량화 및 모델 비교를 성공적으로 수행하였다.