[논문 리뷰] Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems

Sari Lasanen|arXiv (Cornell University)|2011. 12. 05.

Bayesian Methods and Mixture Models참고 문헌 107인용 수 15

한 줄 요약

이 논문은 일반화된 베이즈 공식을 사용하여 비정규 분포의 통계적 역문제에서 근사된 미지 변수에 대한 사후 분포 수렴성을 확립한다. 유한차원 근사가 정교해질 때 사후 분포가 약수렴, 집합수렴, 변동수렴 방식으로 수렴함을 보여주며, 핵심 기여는 광범위한 비정규 잡음 모델에서 잘 정의되고 수렴하는 프레임워크를 제공함과 동시에 비정규 측정에 대한 일반화된 캐머런-마르틴 공식을 제시하는 것이다.

ABSTRACT

The statistical inverse problem of estimating the probability distribution of an infinite-dimensional unknown given its noisy indirect observation is studied in the Bayesian framework. In practice, one often considers only finite-dimensional unknowns and investigates numerically their probabilities. As many unknowns are function-valued, it is of interest to know whether the estimated probabilities converge when the finite-dimensional approximations of the unknown are refined. In this work, the generalized Bayes formula is shown to be a powerful tool in the convergence studies. With the help of the generalized Bayes formula, the question of convergence of the posterior distributions is returned to the convergence of the finite-dimensional (or any other) approximations of the unknown. The approach allows many prior distributions while the restrictions are mainly for the noise model and the direct theory. Three modes of convergence of posterior distributions are considered -- weak convergence, setwise convergence and convergence in variation. The convergence of conditional mean estimates is studied. Several examples of applicable infinite-dimensional non-Gaussian noise models are provided, including a generalization of the Cameron-Martin formula for certain non-Gaussian measures. Also, the well-posedness of Bayesian statistical inverse problems is studied.

연구 동기 및 목표

• 무한차원 미지 변수의 유한차원 근사가 정교해질 때 사후 분포가 수렴하는 조건을 확립하기 위해.
• 일반화된 베이즈 공식의 적용 범위를 통계적 역문제에서의 비정규 잡음 모델로 확장하기 위해.
• 비정규 및 비지배 잡음 가정 하에서 베이지안 역문제의 잘 정의됨을 조사하기 위해.
• 근사된 미지 변수의 맥락에서 사후 평균과 조건부 기대값의 수렴성을 분석하기 위해.
• 지배되지 않는 경우에도 가능한 불연속성에 비추어 사후 분포의 연속성과 수렴성에 충분한 조건을 제공하기 위해.

제안 방법

• 일반화된 베이즈 공식을 활용하여 사후 수렴 문제를 미지 변수의 유한차원 근사 수렴 문제로 환원한다.
• 무한차원 미지 변수와 관측치를 다루기 위해 국소적으로 볼록인 수프린 토폴로지 벡터 공간에서 일반화된 베이즈 공식을 적용한다.
• 잡음 측도 με+L(x)의 μX-거의확실한 지배성 개념을 활용하여 사후 분포의 연속성과 수렴성을 보장한다.
• 비정규 측도에 대한 카쿠타니 유형의 일반화된 캐머런-마르틴 공식을 유도하여 새로운 비정규 잡음 모델 클래스를 가능하게 한다.
• 잡음과 직접 모델에 대한 최소한의 가정 하에 세 가지 수렴 방식(약수렴, 집합수렴, 변동수렴)을 분석한다.
• 점근적 수렴성에 의존하지 않는 분리 가능 바나흐 공간 위의 사전 측도에 대한 일반적인 준난수적 근사 방법을 도입한다.

실험 결과

연구 질문

• RQ1 비정규 역문제에서 미지 변수가 유한차원 모델로 근사될 때 사후 분포가 수렴하는 조건은 무엇인가?
• RQ2 일반화된 베이즈 공식은 무한차원 비정규 설정에서 사후 수렴 분석을 어떻게 지원하는가?
• RQ3 잡음 측도의 μX-거의확실한 지배성이 사후 분포의 연속성과 수렴성 보장에 어떤 역할을 하는가?
• RQ4 캐머런-마르틴 공식은 비정규 측도로 일반화될 수 있으며, 그 결과 비정규 잡음 모델에 어떤 영향을 미치는가?
• RQ5 미지 변수에 대한 다양한 근사 체계는 사후 평균과 MAP 추정치의 수렴성에 어떻게 영향을 미치는가?

주요 결과

• 유한차원 근사가 정교해질 때 사후 분포가 변동수렴할 조건은 근사 사전 측도가 적절히 수렴할 경우 성립한다.
• 일반화된 베이즈 공식은 전체 사후 분포가 아닌 근사된 미지 변수의 수렴 문제로 문제를 환원함으로써 수렴 분석을 가능하게 한다.
• μX-거의확실한 지배성이 없을 경우 사후 분포의 불연속성이 발생할 수 있으며, 이는 관측치 교체로 인한 오차의 증폭을 초래할 수 있다.
• 일부 비정규 측도에 대해 일반화된 캐머런-마르틴 공식을 유도하여 비정규 잡음 모델의 넓은 클래스를 역문제에 적용할 수 있게 되었다.
• 무한차원 관측치를 제공받는 사후 분포는 유한차원 관측치를 제공받는 경우보다 더 단순할 수 있으며, 이는 새로운 수치적 근사 전략을 시사한다.
• 사전 측도의 약수렴만으로 최대사후확률(마르지) 추정치의 수렴을 보장할 수 없으며, 총변동 사전 측도를 사용한 반례로 이를 입증하였다.