[논문 리뷰] Bayes procedures for adaptive inference in inverse problems for the white noise model

B. T. Knapik, Botond Szabó외 2명|arXiv (Cornell University)|2012. 09. 17.

Statistical Methods and Inference참고 문헌 31인용 수 10

한 줄 요약

이 논문은 백색 잡음 모델 하에서 미약하게 악조건이 된 역문제에서 경험적 및 계층적 베이즈 절차가 알려지지 않은 매개변수의 부드러움에 대한 사전 지식 없이도 적응적으로 최적 수렴 속도를 달성함을 규명한다. 초모수로 인덱싱된 사전 분포의 클래스를 사용함으로써, 두 방법 모두 정규성 초모수를 자동으로 선택하여 소볼레프 및 해석적 부드러움 클래스에 대해 최소최대 최적 수렴 속도를 달성한다.

ABSTRACT

We study empirical and hierarchical Bayes approaches to the problem of estimating an infinite-dimensional parameter in mildly ill-posed inverse problems. We consider a class of prior distributions indexed by a hyperparameter that quantifies regularity. We prove that both methods we consider succeed in automatically selecting this parameter optimally, resulting in optimal convergence rates for truths with Sobolev or analytic "smoothness", without using knowledge about this regularity. Both methods are illustrated by simulation examples.

연구 동기 및 목표

• 진정한 매개변수의 부드러움이 알려지지 않은 비모수적 역문제에서 적응적이고 비율 최적의 추론을 달성하는 데 도전하는 것.
• 경험적 및 계층적 베이즈 방법이 역문제를 최적으로 정규화하는 데 필요한 초모수를 자동으로 선택할 수 있는지 조사하는 것.
• 두 방법이 진짜 부드러움이 소볼레프 또는 해석적 부드러움일 경우 최소최대 최적 수렴 속도를 달성함을 증명하는 것. 이는 진짜 정규성에 대한 지식이 필요하지 않다.
• 경험적 및 계층적 베이즈 방법의 사용에 대한 이론적 근거를 제공하여, 이들의 적응성에 대한 문헌에서의 빈도를 메우는 것.

제안 방법

• 백색 잡음 모델의 표준 형태를 사용: $ Y_i = \kappa_i \mu_i + \frac{1}{\sqrt{n}} Z_i $, 여기서 $ \kappa_i \sim i^{-p} $이며, 이는 미약하게 악조건이 된 역문제를 모델링한다.
• 정규 사전 분포의 클래스를 사용하며, 이는 부드러움을 제어하는 초모수로 인덱싱된다.
• 경험적 베이즈를 적용하여 데이터의 주변 가능도에서 초모수를 추정한다.
• 계층적 베이즈를 적용하여 초모수에 사전 분포를 두고 이를 통합하여 주변 후행 분포를 얻는다.
• 소볼레프 및 해석적 부드러움 클래스를 사용하여 수렴 속도를 분석하고, 두 방법 모두 최소최대 하한선을 달성함을 보여준다.
• 특이값 분해를 사용하여 역문제를 정규 평균 모형으로 환원하고, 고차원 통계에서 표준 도구를 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 경험적 베이즈 방법은 역문제에서 최적 수렴 속도를 달성할 수 있도록 정규성 초모수를 자동으로 선택할 수 있는가?
• RQ2 계층적 베이즈 절차는 진짜 매개변수의 부드러움에 대한 사전 지식 없이도 적응적이고 비율 최적의 추론을 달성할 수 있는가?
• RQ3 백색 잡음 모델 하에서 미약하게 악조건이 된 역문제에 대해 경험적 및 계층적 베이즈의 이론적 수렴 속도는 무엇인가?
• RQ4 고정 사전 분포를 사용한 베이즈 접근법과 비교할 때, 이 방법들은 적응성과 사전 불일치에 대한 강건성 측면에서 어떻게 다른가?
• RQ5 소볼레프 및 해석적 부드러움 클래스에 대해 경험적 및 계층적 베이즈를 사용하여 조정 없이 최소최대 최적 속도를 달성할 수 있는가?

주요 결과

• 경험적 베이즈 절차는 $ \beta $에 대한 지식 없이도 소볼레프 부드러운 진실에 대해 최소최대 최적 수렴 속도 $ n^{-\beta/(1+2\beta+2p)} $를 달성한다.
• 계층적 베이즈 절차 역시 소볼레프 부드러운 매개변수에 대해 동일한 최소최대 최적 속도를 달성하여 적응적 추론을 보여준다.
• 해석적 부드러움 클래스의 경우, 두 방법 모두 최소최대 속도인 $ n^{-1/2} \log^{1/2+p} n $을 달성한다. 이는 부드러움에 대한 사전 지식이 필요하지 않다.
• 이론적 분석을 통해 두 방법 모두 진짜 정규성에 맞는 초모수를 자동으로 선택함을 확인하여, 사전 불일치로 인한 열악한 속도를 피함을 보여준다.
• 수렴 속도 결과는 $ i^r + n $를 포함하는 합계의 경계를 사용하여 유도되며, 적분 및 급수 추정을 통해 로그 및 거듭제곱 항을 신중하게 제어한다.
• 이 논문은 경험적 또는 계층적 베이즈를 통한 초모수 선택이 진짜 부드러움이 알려지지 않은 상황에서도 최소최대 속도로 후행 분포 집중을 이끌어낸다는 것을 입증한다.