[논문 리뷰] Preconditioning the prior to overcome saturation in Bayesian inverse problems

Sergios Agapiou, Peter Mathé|arXiv (Cornell University)|2014. 09. 23.

Probabilistic and Robust Engineering Design참고 문헌 12인용 수 3

한 줄 요약

이 논문은 진짜 해가 사전이 허용하는 것보다 더 매끄럽게 될 때 후행 수축 속도가 악화되는 베이지안 역문제에서의 포화 현상에 대응한다. 데이터에 의존하는 정규화 단계를 사용해 사전을 전처리함으로써, 이는 이전에 해결이 불가능시 여겨졌던 매끄러움 영역에서도 최소 최대 최적 수축 속도를 달성하는 비중앙 사전을 구성한다.

ABSTRACT

We study Bayesian inference in statistical linear inverse problems with Gaussian noise and priors in Hilbert space. We focus our interest on the posterior contraction rate in the small noise limit. Existing results suffer from a certain saturation phenomenon, when the data generating element is too smooth compared to the smoothness inherent in the prior. We show how to overcome this saturation in an empirical Bayesian framework by using a non-centered data-dependent prior. The center is obtained from a preconditioning regularization step, which provides us with additional information to be used in the Bayesian framework. We use general techniques known from regularization theory. To highlight the significance of the findings we provide several examples. In particular, our approach allows to obtain and, using preconditioning improve after saturation, minimax rates of contraction established in previous studies. We also establish minimax contraction rates in cases which have not been considered so far.

연구 동기 및 목표

• 진짜 해가 사전이 허용하는 것보다 더 매끄럽게 될 때 후행 수축 속도가 떨어지는 베이지안 역문제에서의 포화 현상 해결
• 데이터로부터의 정규화 정보를 이용해 사전을 수정함으로써 소음이 작아지는 극한에서 후행 집중도 향상
• 이전 방법이 매끄러움 불일치로 실패한 상황에서도 최소 최대 최적 수축 속도 확립
• 정규화 이론을 통해 다양한 역문제에 적용 가능한 일반적 프레임워크 제공
• 전처리된 사전을 통해 이전에 해결이 불가능시 여겨졌던 경우에도 최적 속도 복구 가능함을 보여줌

제안 방법

• 데이터 기반 전처리 정규화 단계를 사용해 평균을 이동시켜 비중앙 사전 도입
• 티호노프 유형 정규화를 사용해 데이터에 의존하는 사전 중심 계산, 진짜 해와의 일치도 향상
• 일반 정규화 이론 기법을 사용해 유도된 후행 수축 행동 분석
• 후행 수축 제곱의 분해를 편향, 분산, 후행 산란 성분으로 나누어 분석
• 소음이 작아지는 극한에서 철저한 매개변수 선택 α(δ)를 통해 제곱 편향과 후행 산란 간의 점진적 균형 확립
• 연산자 단조성과 트레이스 부등식을 사용해 후행 산란을 경계하고 수렴 보장

실험 결과

연구 질문

• RQ1 왜 표준 베이지안 역문제에서 진짜 해가 사전보다 더 매끄럽게 될 경우 포화 현상이 발생하는가?
• RQ2 데이터에 의존하는 사전이 표준 사전의 한계를 넘어서 후행 수축 속도를 향상시킬 수 있는가?
• RQ3 전처리 프레임워크에서 편향과 분산을 균형 잡는 최적의 매개변수 선택 α(δ)는 무엇인가?
• RQ4 왜 전처리된 사전은 이전에 실현 가능하지 않다고 여겨졌던 매끄러움 영역에서 최소 최대 최적 수축 속도를 달성할 수 있는가?
• RQ5 새로운 사전 구조 하에서 후행 산란과 수축 속도에 대한 이론적 경계는 무엇인가?

주요 결과

• 제안된 전처리된 사전은 베이지안 역문제에서 포화 현상을 극복하여, 진짜 해가 사전이 허용하는 것보다 더 매끄럽게 될 경우에도 최적 수축 속도를 달성한다.
• 이전에 표준 사전으로는 도달할 수 없었던 경우, 특히 진짜 해가 사전보다 더 높은 매끄러움을 가질 때 최소 최대 수축 속도를 달성한다.
• 트레이스 부등식과 연산자 단조성을 사용해 후행 산란을 경계함으로써, δ → 0 일 때 후행이 적절히 집중됨을 보장한다.
• 전처리된 경우, 최적의 매개변수 선택 α(δ)는 제곱 편향과 후행 산란을 균형 잡아, 예제 4.8에서 수축 속도가 δ^{2β/(β+q)}의 순서를 따른다.
• 전처리 없이 사용할 경우 도달 가능한 최선의 속도는 δ^{4q/(β+q)}이며, 이는 전처리 적용 시보다 엄격히 느린 속도이다.
• 이 방법은 힐버트 공간에서 선형 역문제에 대해 일반적이며, 가우시안 소음과 사전을 가진 광범위한 클래스에 적용 가능하다.