[논문 리뷰] A Metropolis-Hastings algorithm for posterior measures with self-decomposable priors

Bamdad Hosseini|arXiv (Cornell University)|2018. 04. 20.

Medical Imaging Techniques and Applications인용 수 1

한 줄 요약

이 논문은 무한 차원 힐버트 공간에서 매우 비정규적인 사후 측도를 샘플링하기 위해 자기분해가능한 사전을 활용하는 새로운 메트로폴리스-해스팅스 알고리즘을 제안한다. 자동회귀 제안 커널을 유지하면서 세부 균형을 보장하는, 무한 차원에서 일반화된 감마 분포인 베셀-K 사전을 제안한다. 이는 희소 또는 압축 가능한 매개변수의 효율적 샘플링을 가능하게 한다.

ABSTRACT

We introduce a new class of Metropolis-Hastings algorithms for sampling target measures that are absolutely continuous with respect to an underlying self-decomposable prior measure on infinite-dimensional Hilbert spaces. We particularly focus on measures that are highly non-Gaussian and cannot be sampled effectively using conventional algorithms. We utilize the self-decomposability of the prior to construct an autoregressive proposal kernel that preserves the prior measure and satisfies detailed balance. We then introduce an entirely new class of self-decomposable prior measures, called the Bessel-K prior, as a generalization of the gamma density to infinite dimensions. The Bessel-K priors interpolate between well-known priors such as the gamma distribution and Besov priors and can model sparse or compressible parameters. We present example applications of our algorithm in inverse problems ranging from finite-dimensional denoising to deconvolution on $L^2$ .

연구 동기 및 목표

• 기존 방법으로는 어려운 매우 비정규적인 사후 측도를 효율적으로 샘플링할 수 있는 새로운 메트로폴리스-해스팅스 알고리즘의 클래스를 개발하는 것.
• 사전 측도의 자기분해가능성 특성을 활용하여 사전을 유지하고 세부 균형을 만족하는 제안 커널을 구성하는 것.
• 희소 또는 압축 가능한 매개변수를 모델링할 수 있는 무한 차원에서의 감마 분포의 일반화인 베셀-K 사전을 도입하는 것.
• L^2에서의 노이즈 제거 및 디컨볼루션과 같은 어려운 역 문제에서 효과적인 샘플링을 가능하게 하는 것.
• 비정규 사전을 가진 무한 차원 설정에서 베이지안 추론을 위한 이론적으로 탄탄하고 유연한 프레임워크를 제공하는 것.

제안 방법

• 사전 측도의 자기분해가능성 성질을 활용하여 사전 분포를 유지하고, 세부 균형을 만족하는 자동회귀 제안 커널을 구성한다.
• 메트로폴리스-해스팅스 수락 비율에서 세부 균형을 활용하여 목표 사후 측도로의 수렴을 보장한다.
• 무한 차원 힐버트 공간에서 자기분해가능한 측도의 새로운 클래스로 베셀-K 사전을 도입한다. 이는 감마 분포의 일반화이다.
• 베셀-K 사전을 감마 밀도의 자연스러운 확장으로 유도하며, 베졸프 사전과의 연결 고리를 밝힌다.
• 유한 차원 노이즈 제거 및 L^2 디컨볼루션 문제에 알고리즘을 적용하여, 비정규성에 강건한 성능을 입증한다.
• 자기분해가능한 측도의 구조를 활용하여 제안 커널이 계산적으로 실현 가능하고 이론적으로 탄탄함을 보장한다.

실험 결과

연구 질문

• RQ1 무한 차원 힐버트 공간에서 매우 비정규적인 사후 측도를 효율적으로 샘플링할 수 있는 메트로폴리스-해스팅스 알고리즘은 어떻게 설계할 수 있는가?
• RQ2 무한 차원 베이지안 추론에서 희소 또는 압축 가능한 매개변수를 모델링할 수 있는 자기분해가능한 사전의 클래스는 무엇인가?
• RQ3 감마 분포를 일반화하고 자동회귀 제안을 통한 효율적 샘플링을 지원하는 새로운 무한 차원 사전을 어떻게 구성할 수 있는가?
• RQ4 제안된 알고리즘은 노이즈 제거 및 디컨볼루션과 같은 실질적인 역 문제에서 어떻게 성능을 발휘하는가?
• RQ5 세부 균형과 사전 유지와 같은 이론적 성질은 제안된 프레임워크에서 어떤 보장을 받을 수 있는가?

주요 결과

• 제안된 메트로폴리스-해스팅스 알고리즘은 기존 MCMC 방법으로는 접근이 어려운 매우 비정규적인 사후 측도를 성공적으로 샘플링한다.
• 베셀-K 사전은 감마 및 베졸프 사전 사이를 연결하는 무한 차원에서의 자기분해가능한 측도의 새로운 클래스로 도입된다.
• 자기회귀 제안 커널은 사전 측도를 유지하고 세부 균형을 만족하여 정확한 수렴을 보장한다.
• 알고리즘은 유한 차원 노이즈 제거 및 L^2 디컨볼루션 문제에서 비정규 사후 분포가 존재하는 경우에도 효과적인 성능을 보인다.
• 베셀-K 사전은 희소 또는 압축 가능한 매개변수를 모델링할 수 있으며, 기존의 무한 차원 사전에 대한 탄력적인 대안을 제공한다.
• 이 프레임워크는 비정규성과 무한 차원 설정에서의 베이지안 추론을 위한 이론적으로 탄탄하고 계산적으로 실현 가능한 접근법을 제공한다.