[논문 리뷰] Accuracy of Gaussian approximation in nonparametric Bernstein -- von Mises Theorem

Vladimir Spokoiny, Maxim Panov|arXiv (Cornell University)|2019. 10. 14.

Control Systems and Identification참고 문헌 19인용 수 6

한 줄 요약

이 논문은 가우시안 사전을 가진 비모수 베이지안 모형에서 사후 집중도와 가우시안 근사 정확도에 대한 점근적이지 않은 경계를 수립한다. 미약한 정규성 조건 하에서, 사후 분포는 페널티 최대우도추정량(pMLE)을 중심으로 한 가우시안 분포에 의해 잘 근사되며, 중심 대칭 신뢰도 집합에 제한된 경우 오차 경계가 $ n^{-1} $ 순서를 가진다. 이는 pMLE의 일致성과 연결되어 베이지안 신뢰도 집합을 빈도주의 신뢰집합으로 연결한다.

ABSTRACT

The prominent Bernstein -- von Mises (BvM) result claims that the posterior distribution after centering by the efficient estimator and standardizing by the square root of the total Fisher information is nearly standard normal. In particular, the prior completely washes out from the asymptotic posterior distribution. This fact is fundamental and justifies the Bayes approach from the frequentist viewpoint. In the nonparametric setup the situation changes dramatically and the impact of prior becomes essential even for the contraction of the posterior; see [vdV2008], [Bo2011], [CaNi2013,CaNi2014] for different models like Gaussian regression or i.i.d. model in different weak topologies. This paper offers another non-asymptotic approach to studying the behavior of the posterior for a special but rather popular and useful class of statistical models and for Gaussian priors. First we derive tight finite sample bounds on posterior contraction in terms of the so called effective dimension of the parameter space. Our main results describe the accuracy of Gaussian approximation of the posterior. In particular, we show that restricting to the class of all centrally symmetric credible sets around pMLE allows to get Gaussian approximation up to order (n^{-1}). We also show that the posterior distribution mimics well the distribution of the penalized maximum likelihood estimator (pMLE) and reduce the question of reliability of credible sets to consistency of the pMLE-based confidence sets. The obtained results are specified for nonparametric log-density estimation and generalized regression.

연구 동기 및 목표

• 고차원 또는 무한차원 매개변수 공간에서 고전적 베르슈타인-폰 뉴만(BvM) 정리의 붕괴 문제를 다루며, 사전이 사후 집중도에 상당한 영향을 미치는 경우를 다룬다.
• 매개변수 공간의 유효 차원을 기반으로 사후 집중도와 가우시안 근사 오차에 대한 점근적이지 않은 경계를 제공한다.
• 페널티 최대우도추정량(pMLE)의 일치성과 연결하여 베이지안 신뢰도 집합이 빈도주의 신뢰집합으로 신뢰성 있게 사용될 수 있는 조건을 확립한다.
• 특히 pMLE를 중심으로 한 중심 대칭 신뢰도 집합에 제한된 경우, 사후 분포의 가우시안 근사 정확도를 분석한다.

제안 방법

• 유효 차원 $ p_G(\theta) = \mathrm{tr}(H^2 \mathbb{F}_G^{-1}(\theta)) $ 를 사용하여 유한 표본에서의 사후 집중도 경계를 유도한다. 여기서 $ \mathbb{F}_G $ 는 사전 하에 정의된 피셔 정보이다.
• 로그우도의 선형 확률적 부분과 기대 로그우도의 볼록성 보장 조건을 도입한다. 이 조건들은 가우시안 회귀, 밀도함수 로그추정, 일반선형모형 등 다양한 모형에서 성립한다.
• 페널티 최대우도추정량(pMLE)을 사후 모드로 정의하며, 가우시안 사전이 유도하는 이차 페널티를 포함한다. 또한 사후 분포가 pMLE의 표본분포를 잘 모방함을 보인다.
• 총 변동 거리(total variation distance)를 사용하여 가우시안 근사의 정확도를 측정하며, 이 경계는 유효 차원과 로그우도의 고차 도함수에 의존한다.
• pMLE를 중심으로 한 중심 대칭 영역으로 신뢰도 집합을 제한할 경우, 가우시안 근사 오차가 $ O(n^{-1}) $ 으로 향상됨을 증명한다. 이는 일반적인 경계보다 훨씬 우수하다.
• 결과를 두 가지 주요 사전에 적용한다: 절단 사전(낮은 차원 부분공간에 지지가 있는 사전)과 스무딩 사전(고유값의 감쇠를 가지는 사전). 절단 사전의 경우 $ p_G \asymp m $ 이고, 스무딩 사전의 경우 유효 차원이 $ m $ 에 대해 제어 가능한 속도로 증가한다.

실험 결과

연구 질문

• RQ1 비모수 모형에서 가우시안 사전을 가진 사후 분포가 중심 대칭 영역에서 $ O(n^{-1}) $ 오차로 가우시안 근사가 가능한 조건은 무엇인가?
• RQ2 유효 차원 $ p_G(\theta) $ 는 사후 집중도와 가우시안 근사 정확도를 어떻게 제어하는가?
• RQ3 베이지안 신뢰도 집합은 빈도주의 신뢰집합으로 신뢰성 있게 사용될 수 있는가? 어떤 조건에서 가능한가?
• RQ4 고차원 또는 비모수 모형에서 사전이 사후에 미치는 영향은 어느 정도이며, 이를 어떻게 정량화할 수 있는가?

주요 결과

• 중심 대칭 신뢰도 집합에 제한된 경우, 사후 분포는 페널티 최대우도추정량(pMLE)을 중심으로 한 가우시안 분포에 총 변동 거리 오차가 $ O(n^{-1}) $ 이내로 잘 근사된다.
• 유효 차원 $ p_G(\theta) = \mathrm{tr}(H^2 \mathbb{F}_G^{-1}(\theta)) $ 는 사후 집중도 속도와 가우시안 근사 정확도를 제어한다.
• 절단 사전에서 $ \dim(\mathbb{V}_m) = m $ 이면 유효 차원은 $ p_G(\theta) \leq m $ 를 만족하며, 사전 분산 $ g_m^2 \ll n $ 이면 $ p_G(\theta) \asymp m $ 이다.
• 스무딩 사전의 경우 유효 차원은 매개변수 $ m $ 에 대해 느리게 증가하며, 사전 정밀도 연산자의 고유값 감쇠 속도에 따라 달라진다.
• 사후 분포는 pMLE의 표본분포를 모방하므로, 신뢰도 집합의 신뢰성은 pMLE 기반 신뢰집합의 일致성에 근거한다.
• 결과는 미약한 정규성 조건 하에서 성립한다: 로그우도의 확률적 부분의 선형성과 기대 로그우도의 볼록성. 이 조건들은 가우시안 회귀, 로그밀도 추정, 일반선형모형 등에서 만족된다.