[논문 리뷰] Honest Bayesian confidence sets for the L2-norm

Botond Szabó, Aad van der Vaart외 1명|arXiv (Cornell University)|2013. 11. 29.

Probabilistic and Robust Engineering Design참고 문헌 18인용 수 8

한 줄 요약

이 논문은 정규성 클래스 $[D, 2D]$ 내에서 신호-백색잡음 모델에서 $L^2$-노름에 대한 베이지안 신뢰구간의 빈도적 커버리지 성질을 조사한다. 표준 경험베이즈 및 계층 베이즈 방법이 열악한 초모수 선택으로 인해 과신경의 잘못된 불확실성 정량을 초래한다는 것을 보여주며, 이는 과신된 결과를 초래한다. 저자들은 위험 추정 기반의 새로운 경험베이즈 방법을 제안하여 최적 크기의 정직하고 적응적인 신뢰구간을 달성한다.

ABSTRACT

We investigate the problem of constructing Bayesian credible sets that are honest and adaptive for the L2-loss over a scale of Sobolev classes with regularity ranging between [D; 2D], for some given D in the context of the signal-in-white-noise model. We consider a scale of prior distributions indexed by a regularity hyper-parameter and choose the hyper-parameter both by marginal likelihood empirical Bayes and by hierarchical Bayes method, respectively. Next we consider a ball centered around the corresponding posterior mean with prescribed posterior probability. We show by theory and examples that both the empirical Bayes and the hierarchical Bayes credible sets give misleading, overconfident uncertainty quantification for certain oddly behaving truth. Then we construct a new empirical Bayes method based on risk estimation, which provides the correct uncertainty quantification and optimal size.

연구 동기 및 목표

• Sobolev 클래스의 스케일에서 $L^2$-노름에 대한 베이지안 신뢰구간의 빈도적 커버리지 성질을 조사하는 것.
• 이 설정에서 표준 경험베이즈 및 계층 베이즈 방법이 왜 정직한 불확실성 정량을 제공하지 못하는지 밝혀내는 것.
• 신뢰구간의 정직성과 적응성을 보장하는 위험 추정 기반의 새로운 경험베이즈 접근법을 개발하는 것.
• 제안된 신뢰구간의 커버리지와 크기 최적성에 대한 이론적 보장을 수립하는 것.

제안 방법

• 정규성 초모수 $\alpha$로 인덱싱된 사전 분포의 스케일을 사용한다.
• 초모수 선택을 위해 마진형 우도 경험베이즈와 계층 베이즈를 활용한다.
• 후행 평균 중심의 구를 후행 확률이 사전에 정해진 값이 되도록 구성한다.
• 후행 평균의 빈도적 위험을 추정하여 초모수를 선택하는 새로운 경험베이즈 방법을 도입한다.
• 편향, 후행 분산 및 커버리지 확률에 대한 경계를 사용하여 渐近적 행동을 분석한다.
• 초순서의 $\ell^2$-노름에 대한 농도 부등식과 합계 추정을 포함한 이론적 도구를 적용한다.

실험 결과

연구 질문

• RQ1 왜 표준 경험베이즈 및 계층 베이즈의 신뢰구간은 Sobolev 클래스에서 $L^2$-노름에 대해 정직한 커버리지를 제공하지 못하는가?
• RQ2 위험 추정 기반의 수정된 경험베이즈 방법이 정직하고 적응적인 신뢰구간을 달성할 수 있는가?
• RQ3 정규성 $[D, 2D]$를 가진 Sobolev 클래스에서 $L^2$-노름에 대한 최적 크기의 정직하고 적응적인 신뢰구간은 무엇인가?
• RQ4 초모수의 선택이 빈도적 커버리지와 신뢰구간 크기에 어떻게 영향을 미치는가?
• RQ5 비모수 설정에서 후행 평균이 최적의 빈도적 위험을 달성하는 조건은 무엇인가?

주요 결과

• 표준 경험베이즈 및 계층 베이즈 방법은 특정 참값 구성에서 정직한 커버리지를 달성하지 못하는 과신된 신뢰구간을 생성한다.
• 제안된 위험 기반 경험베이즈 방법은 후행 평균의 빈도적 위험을 최소화하는 방식으로 초모수를 선택함으로써 정직한 커버리지를 보장한다.
• 결과적으로 얻어진 신뢰구간은 최적 크기를 가지며, 진정한 정규성 $\beta = D$ 하에서 반지름 $r_{n,\gamma}(\hat{\alpha}_n) \lesssim n^{-2D/(1+4D)}$ 를 갖는다.
• 이 방법은 전체 Sobolev 스케일 $\cup_{\beta \in [D, 2D]} \Theta^\beta$ 에서 커버리지 확률이 균일하게 $1 - \gamma$ 로 수렴함을 보장한다.
• 이론적 분석을 통해 편향 항 $\|B_n(2D; \theta_0)\|$ 는 $n^{-2\beta/(1+2\beta)}$ 보다 작지 않게 하한이 존재하며, 이는 최적 속도를 초과하므로 표준 방법의 실패를 설명한다.
• 새로운 방법은 진정한 정규성 $\beta = D$ 인 경우에 하위수열을 따라 $\sup_{\alpha \leq 2D} h_{n_j}(\alpha; \theta_0) \to 0$ 이 되게 하며, 이는 초모수가 $\alpha = 2D$ 에서 일致적으로 선택됨을 의미한다.