[논문 리뷰] Laplace priors and spatial inhomogeneity in Bayesian inverse problems

Sergios Agapiou, Sven Wang|arXiv (Cornell University)|2021. 12. 10.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 공간적으로 비균일한 매개변수를 갖는 라플라스-프리오르 기반 베이지안 역문제에 대해 빈도주의 후행 수렴 속도를 확립한다. 라플라스 프리오르는 $B^{\beta}_{11}$-스무쓰니스 클래스에서 최소최대 최적 수렴 속도를 달성하는 반면, 가우시안 프리오르는 더 느린 다항부하수렴 속도에 국한된다. 분석은 비선형 PDE 전진 매핑에 대한 국소 리프시츠 조건과 $\boldsymbol{L}^1$-형벌을 부과한 웨이브렛 추정기의 새로운 집중 부등식에 기반하며, 이는 라플라스 프리오르 하에 MAP 추정기와 대응된다.

ABSTRACT

Spatially inhomogeneous functions, which may be smooth in some regions and rough in other regions, are modelled naturally in a Bayesian manner using so-called Besov priors which are given by random wavelet expansions with Laplace-distributed coefficients. This paper studies theoretical guarantees for such prior measures - specifically, we examine their frequentist posterior contraction rates in the setting of non-linear inverse problems with Gaussian white noise. Our results are first derived under a general local Lipschitz assumption on the forward map. We then verify the assumption for two non-linear inverse problems arising from elliptic partial differential equations, the Darcy flow model from geophysics as well as a model for the Schrödinger equation appearing in tomography. In the course of the proofs, we also obtain novel concentration inequalities for penalized least squares estimators with $\ell^1$ wavelet penalty, which have a natural interpretation as maximum a posteriori (MAP) estimators. The true parameter is assumed to belong to some spatially inhomogeneous Besov class $B^α_{11}$, $α>0$. In a setting with direct observations, we complement these upper bounds with a lower bound on the rate of contraction for arbitrary Gaussian priors. An immediate consequence of our results is that while Laplace priors can achieve minimax-optimal rates over $B^α_{11}$-classes, Gaussian priors are limited to a (by a polynomial factor) slower contraction rate. This gives information-theoretical justification for the intuition that Laplace priors are more compatible with $\ell^1$ regularity structure in the underlying parameter.

연구 동기 및 목표

• 공간적으로 비균일한 매개변수를 갖는 베이지안 역문제에 대한 이론적 후행 수렴 속도를 확립하기 위해 베존 프리오르를 사용하는 것.
• 가우시안 화이트 노이즈가 존재하는 비선형 역문제에서 라플라스 분포를 가진 웨이브렛 계수 프리오르의 성능을 분석하기 위해.
• 공간적으로 비균일한 매개변수를 복원할 때 $B^{\beta}_{11}$-스무쓰니스 클래스에서 라플라스 프리오르와 가우시안 프리오르의 빈도주의 수렴 속도를 비교하기 위해.
• 타원 PDE에서 유래하는 전진 매핑에 대한 국소 리프시츠 조건을 검증하기 위해, 특히 다르시 흐름과 슈뢰딩거 방정식을 포함하여.
• $\ell^1$-형벌을 가한 최소제곱 추정기의 새로운 집중 부등식을 유도하고, 이를 라플라스 프리오르 하에 MAP 추정기와 연결하기 위해.

제안 방법

• 공간적으로 비균일한 함수를 $B^{\beta}_{11}$-클래스에서 모델링하기 위해, i.i.d. 라플라스 분포를 가진 계수를 갖는 랜덤 웨이브렛 전개를 통해 정의된 베존 프리오르 측도를 사용한다.
• 비선형 PDE 기반 역문제에 적용 가능한, 전진 매핑 $\mathcal{G}$ 에 대한 국소 리프시츠 조건을 만족하는 일반적인 수렴 속도 이론을 개발한다.
• $\ell^1$-형벌을 가한 최소제곱 추정기의 새로운 집중 부등식을 유도하며, 이들이 라플라스 웨이브렛 프리오르 하에 MAP 추정기와 대응됨을 보여준다.
• 정적 상태의 다르시 흐름과 단층촬영에서의 슈뢰딩거 방정식을 포함한 두 가지 비선형 PDE 모델에 대해 국소 리프시츠 조건을 검증한다.
• 웨이브렛을 통한 베존 공간의 특성화와 $H^\alpha$ 및 $B^\beta_{11}$ 노름 간의 임bedding 부등식을 이론적 분석에 사용한다.
• 직접 관측 하에서 임의의 가우시안 프리오르에 대해 수렴 속도의 하한을 도출하여, 라플라스 프리오르에 비해 그 본질적 한계를 입증한다.

실험 결과

연구 질문

• RQ1 비선형 베이지안 역문제에서 공간적으로 비균일한 매개변수를 갖는 라플라스 프리오르가 최소최대 최적 수렴 속도를 달성할 수 있는가?
• RQ2 스무쓰니스 클래스 $B^{\beta}_{11}$ 에서 라플라스 프리오르와 가우시안 프리오르 간의 이론적 수렴 속도 격차는 무엇인가?
• RQ3 라플라스 웨이브렛 프리오르를 사용할 때 전진 매핑 $\mathcal{G}$ 가 어떤 조건을 만족해야 후행 수렴이 최적 속도로 이루어지는가?
• RQ4 MAP 추정기로 해석되는 $\ell^1$-형벌을 가한 최소제곱 추정기는 고차원 웨이브렛 공간에서 참값 주위로 어떻게 집중되는가?
• RQ5 공간적 비균일성이 존재할 경우 가우시안 프리오르가 최적 속도를 달성하지 못하는 정도는 어느 정도이며, 그 이유는 무엇인가?

주요 결과

• 라플라스 프리오르는 $\beta > 0$ 가 충분히 클 경우 $B^{\beta}_{11}$-스무쓰니스 클래스에서 최소최대 최적 수렴 속도를 달성한다.
• 가우시안 프리오르는 직접 관측 하에서도 최소최대 수렴 속도보다 (다항 인자로 인해) 더 느린 수렴 속도에 국한된다.
• 국소 리프시츠 조건은 다르시 흐름과 슈뢰딩거 방정식 모두에 대해 검증되었으며, 이는 일반 수렴 속도 이론의 적용 가능성을 보장한다.
• $\ell^1$-형벌을 가한 최소제곱 추정기의 새로운 집중 부등식이 확립되었으며, 이는 라플라스 프리오르 하에 MAP 추정기의 이론적 기반을 제공한다.
• 결과는 정보이론적 근거를 제공하여, 라플라스 프리오르가 가우시안 프리오르보다 파rameter 공간 내 $\ell^1$-정규화 구조와 더 호환됨을 보여준다.
• 분석은 프리오르 선택이 공간적 비균일성을 포착하는 데 핵심적임을 드러내며, 라플라스 프리오르는 혼합 스무쓰니스와 불연속성을 갖는 함수를 모델링하는 데 유일하게 적합하다.