[논문 리뷰] On the Bernstein-Von Mises Theorem for High Dimensional Nonlinear Bayesian Inverse Problems

Yulong Lu|arXiv (Cornell University)|2017. 06. 01.

Statistical Methods and Inference참고 문헌 27인용 수 12

한 줄 요약

이 논문은 소음이 감소하는 극한에서 고차원 비선형 베이지안 역문제에 대해 Bernstein-von Mises 정리를 확립하며, 모수의 수에 대한 정밀한 성장 조건 하에서 사후 분포의 점근적 정규성을 증명한다. 주요 결과는 사후 분포가 효율 추정량을 중심으로 하는 정규분포 근처에 집중되며, 전체 변화 거리가 $\mathcal{O}_p(n^{-1/2}d^3\log d)$ 속도로 감소함을 보여주며, 이는 차원 $d$ 가 표본 크기 $n$ 과 함께 느리게 증가할 경우에 성립한다. 이는 고차원, 비선형 역문제에 대한 고전적 BvM 이론을 악조건이 있는 전진 모델을 가진 경우로 확장한다.

ABSTRACT

We prove a Bernstein-von Mises theorem for a general class of high dimensional nonlinear Bayesian inverse problems in the vanishing noise limit. We propose a sufficient condition on the growth rate of the number of unknown parameters under which the posterior distribution is asymptotically normal. This growth condition is expressed explicitly in terms of the model dimension, the degree of ill-posedness of the inverse problem and the noise parameter. The theoretical results are applied to a Bayesian estimation of the medium parameter in an elliptic problem.

연구 동기 및 목표

• 고차원, 비선형, 악조건이 있는 베이지안 역문제 설정에서 Bernstein-von Mises(BvM) 정리를 확립하기.
• 사후 분포가 점근적으로 정규분포가 되는 데 필요한 조건을, 모수의 수의 성장률이 소음 수준과 상대적으로 어떻게 되어야 하는지의 조건을 도출하기.
• 이전에 유한차원 또는 비모수 모델에 국한되어 있던 고전적 BvM 결과를, 소음이 점차 감소하는 고차원 비선형 역문제로 확장하기.
• 타원 편미분방정식에서 매질 매개변수의 베이지안 추정에 응용을 통해 이론적 결과를 검증하기.

제안 방법

• 소음이 점차 감소하는 고차원 비선형 베이지안 역문제의 일반적 클래스를 수립한다.
• 모델 차원 $d$, 소음 수준 $n^{-1/2}$, 그리고 악조건 정도 사이의 성장 조건을 도입하며, 이를 $n^{-1/2}d^3\log d \to 0$ 형태로 표현한다.
• 사후 분포가 진짜 모수 주위에 $n^{-1/2}$ 속도로 수축하고, 전체 변화 거리에서 정규분포로 수렴함을 입증함으로써 BvM 정리 프레임워크를 적용한다.
• 로그우도의 헤시안 행렬의 고유값 추정과 전진 맵 $G$의 안정성 한계를 이용해 사후 집중도와 곡률을 제어한다.
• 각 성분의 로그밀도의 도함수 유계성을 만족하는 곱 prior를 파ameter 벡터 $\mathbf{q}$에 도입함으로써 정규성 조건을 확보한다.
• 사후 측도가 효율 추정량 $\triangle_n$ 을 중심으로 하고 공분산 $\frac{1}{n}\boldsymbol{\Sigma}$ 를 가진 정규분포로 전체 변화 거리에서 수렴함을 보여, 사후의 점근적 정규성을 도출한다.

실험 결과

연구 질문

• RQ1 고차원 비선형 베이지안 역문제에서 사후 분포가 점근적으로 정규분포가 되기 위한 차원 $d$ 와 소음 수준 $n^{-1/2}$ 의 조건은 무엇인가?
• RQ2 소음 감소 극한에서, 모수의 수가 증가하는 비선형, 악조건이 있는 역문제에 대해 고전적 Bernstein-von Mises 정리를 확장할 수 있는가?
• RQ3 사후 분포가 전체 변화 거리에서 정규분포로 수렴하기 위해 허용되는 모델 차원 $d$ 의 정확한 성장률은 무엇인가?
• RQ4 전진 문제의 악조건 정도가 BvM 프레임워크에서 허용 가능한 모수 차원의 성장에 어떤 영향을 미치는가?

주요 결과

• 사후 분포는 효율 추정량 $\triangle_n$ 을 중심으로 하고 공분산 $\frac{1}{n}\boldsymbol{\Sigma}$ 를 가진 정규분포로 수렴하며, 여기서 $\boldsymbol{\Sigma} = (\nabla G(\mathbf{q}_0)^T \nabla G(\mathbf{q}_0))^{-1}$ 이다.
• 전체 변화 거리에서 수렴 속도는 $\mathcal{O}_p(n^{-1/2}d^3\log d)$ 로 유계이며, 조건 $n^{-1/2}d^3\log d \to 0$ 하에서 $n \to \infty$ 일 때 0으로 수렴한다.
• 성장 조건 $n^{-1/2}d^3\log d \to 0$ 은 모수의 수 $d$, 소음 수준 $n^{-1/2}$, 그리고 역문제의 악조건 정도를 명시적으로 연결한다.
• 이 결과는 사전에 대해 약한 정규성 조건 하에서도 성립하며, 특히 각 성분의 로그밀도가 컴팩트 집합 위에서 도함수의 유계성을 보장하는 리프시츠 연속성 조건을 만족할 경우에 성립한다.
• 타원 역문제와 관련된 전진 맵 $G$ 는 필요한 정규성 및 안정성 조건을 만족하므로 일반 BvM 결과의 적용이 가능하다.
• 이론적 프레임워크는 고차원 비선형 설정에서 베이지안 신뢰구간이 충분통계적 신뢰구간과 점근적으로 동일함을 확인한다. 이는 차원이 충분히 느리게 증가할 경우에 성립한다.