[논문 리뷰] On infinite-dimensional hierarchical probability models in statistical inverse problems

Tapio Helin|ArXiv.org|2009. 07. 30.

Markov Chains and Monte Carlo Methods참고 문헌 30인용 수 3

한 줄 요약

이 논문은 주기적 신호를 포함하는 통계적 역문제에 대해 무한차원 히에라르키컬 베이지안 모델을 제안하며, 조건부 평균 복원에서 에지(edge)를 유지하기 위해 비정규 prior를 사용한다. 더 세밀한 이산화에서 사후 분포와 CM 추정치의 약한 수렴을 증명하였고, 수치 결과는 차원이 증가함에 따라 안정적이고 에지 보존 성질을 갖는 복원을 확인한다.

ABSTRACT

In this article, the solution of a statistical inverse problem $M = AU+\mathcal{E}$ by the Bayesian approach is studied where $U$ is a function on the unit circle $\mathbb{T}$, i.e., a periodic signal. The mapping $A$ is a smoothing linear operator and $\mathcal{E}$ a Gaussian noise. The connection to the solution of a finite-dimensional computational model $M_{kn} = A_k U_n + \mathcal{E}_k$ is discussed. Furthermore, a novel hierarchical prior model for obtaining edge-preserving conditional mean estimates is introduced. The convergence of the method with respect to finer discretization is studied and the posterior distribution is shown to converge weakly. Finally, theoretical findings are illustrated by a numerical example with simulated data.

연구 동기 및 목표

• 무한차원 함수 공간에서 에지 보존 성질을 갖는 비정규 히에라르키컬 사전 모델을 개발하는 것.
• 이산화가 점점 더 세밀해질수록 사후 분포와 조건부 평균 추정치의 이론적 수렴을 확립하는 것.
• 총변동(Total Variation) 사전의 유한차원 차분 근사에서 발생하는 에지 보존 성질의 불안정성을 다루는 것.
• 제안된 모델이 추가적인 수작업 조정 없이도 해상도가 증가함에 따라 에지 보존 성질과 안정성을 유지할 수 있음을 보여주는 것.

제안 방법

• 신호 $ U $와 잠재 정밀도 필드 $ V $를 함께 모델링하는 히에라르키컬 사전 구조를 제안하며, $ V $는 국소적 스무스함과 에지 탐지 기능을 제어한다.
• 비정규 사전을 $ V $에 적용하여, 특히 로그정규 또는 유사한 꼬리가 두꺼운 분포를 사용함으로써 사후 분포에서 흐물러짐과 에지 보존을 유도한다.
• 유한차원 이산화 모델 $ M_{kn} = A_k U_n + \tilde{\nu}_k $에서 베이즈 정리에 따라 사후 분포를 유도하며, $ A $는 스무스링 연산자이고 $ \tilde{\nu}_k $는 가우시안 노이즈이다.
• 메트로폴리스-하스팅스(Metropolis-Hastings)를 사용한 적응형 제안을 포함하는 마르코프 체인 몬테카를로(MCMC) 샘플링을 적용하여 조건부 평균 추정치 $ u^{CM}_{kn} = \text{E}[U_n | M_{kn} = m] $를 계산한다.
• 적절한 사전 모수 $ \epsilon $의 스케일링 하에 $ n, k \to \infty $일 때 사후 측도 $ \tilde{\nu}_{kn} $의 약한 수렴을 분석한다.
• 신호 $ U_n $에 대해 $ n $, 데이터 $ M_k $에 대해 $ k $로 이루어진 이중 이산화를 사용하며, $ A_k $는 연산자 $ A $의 투영이다.

실험 결과

연구 질문

• RQ1 비정규 사전을 갖는 히에라르키컬 베이지안 모델이 무한차원 역문제에서 에지 보존 복원을 보장할 수 있는가?
• RQ2 신호와 데이터의 이산화가 점점 더 세밀해질수록 사후 분포가 약하게 수렴하는가?
• RQ3 해상도가 증가함에 따라 조건부 평균 추정치가 진짜 신호와 안정적이고 일관되게 유지되는가?
• RQ4 사전 모수 $ \epsilon $는 에지의 날카움 정도와 수렴 행동을 제어하는 데 어떤 역할을 하는가?
• RQ5 유한차원 TV 기반 복원에서 차원이 증가함에 따라 발생하는 에지 보존 성질의 손실을 피할 수 있는가?

주요 결과

• 적절한 사전 모수 $ \epsilon $의 스케일링 하에 무한차원 설정에서 사후 분포가 한정 측도로 약하게 수렴한다.
• 비정규 사전이 있더라도 $ n \to \infty $일 때 조건부 평균 추정치 $ u^{CM}_{kn} $는 안정적으로 수렴하며 잘 정의된 복원자로 수렴한다.
• 수치 결과는 $ u^{CM}_{kn} $의 에지 날카움 정도가 $ \epsilon $에 의해 제어되며, 더 작은 $ \epsilon $는 더 날카운 에지와 더 스무스한 $ v^{CM}_{kn} $를 생성함을 보여준다.
• N = 256일 때, $ \epsilon = 3 \times 10^{-4} $에 대해 MCMC 계산은 약 53.7시간이 소요되어 중간 차원에서의 계산 가능성을 확인한다.
• 조기 신호 $ u $에 비해 큰 노이즈가 존재하더라도 조건부 평균 추정치 $ u^{CM}_{kn} $는 최소한의 편향과 함께 진짜 신호를 잘 근사하며 불연속성을 유지한다.
• N이 증가함에 따라 잠재 필드 $ v^{CM}_{kn} $는 점점 더 스무스해지며, $ v $가 점별 수렴하지는 않지만 $ U $의 정규성 제어 기능은 유지됨을 시사한다.