[논문 리뷰] On coverage and oracle radial rate of DDM-credible sets under excessive bias restriction

Eduard Belitser|arXiv (Cornell University)|2014. 07. 20.

Statistical Methods and Inference인용 수 2

한 줄 요약

이 논문은 새로운 정규성 조건인 과도한 편향 제한(Estimated Bias Restriction, EBR) 하에서 역문제에서 적응형 최적 신뢰집합을 구성하기 위한 데이터에 의존하는 측도(DDM)를 소개한다. 약간의 불안정성이 있는 모델에서 경험 베이즈 사후분포에 대해 오рак루스 반경률과 신뢰 최적성(Confidence Optimality)을 확립하며, 다양한 부드러움 척도에 걸쳐 적응형 최소자승 결과를 확장한다.

ABSTRACT

For a general statistical model, we introduce the notion of data dependent measure (DDM) on the model parameter. Typical examples of DDM are the posterior distributions. Like for posteriors, the quality of a DDM is characterized by the contraction rate which we allow to be local, i.e., depending on the parameter. We construct confidence sets as DDM-credible sets and address the issue of optimality of such sets, via a trade-off between its size (the local radial rate) and its coverage probability. In the mildly ill-posed inverse signal-in-white-noise model, we construct a DDM as empirical Bayes posterior with respect to a certain prior, and define its (default) credible set. Then we introduce 'excessive bias restriction' (EBR), more general than 'self-similarity' and 'polished tail condition' recently studied in the literature. Under EBR, we establish the confidence optimality of our credible set with some local (oracle) radial rate. We also derive the oracle estimation inequality and the oracle DDM-contraction rate, non-asymptotically and uniformly in $\ell_2$. The obtained local results are more powerful than global: adaptive minimax results for a number of smoothness scales follow as consequence, in particular, the ones considered by Szabo, van der Vaart and van Zanten (2015).

연구 동기 및 목표

• 통계 모델에서 신뢰집합의 커버리지 확률과 크기(반경률)의 균형을 고려한 DDM-신뢰집합을 구성하는 일반적인 프레임워크를 개발하는 것.
• 백색잡음이 있는 약간의 불안정성이 있는 역문제의 맥락에서 신뢰집합의 최적성 문제를 다루는 것.
• 자기유사성 또는 다듬어진 꼬리 조건보다 더 일반적인 정규성 조건으로서 과도한 편향 제한(EBR)을 도입하고 그 타당성을 제시하는 것.
• EBR 하에서 DDM 수축률과 추정 불등식에 대한 비점근적이고 l²에서 균일한 결과를 도출하는 것.
• Szabo 등(2015)이 연구한 바와 같이 다양한 부드러움 척도에 걸쳐 적응형 최소자승 결과를 확장하는 것.

제안 방법

• 진짜 매개변수에 따라 국소 수축률이 달라지는 데이터에 의존하는 측도(DDM)를 사후분포의 일반화로 정의하는 것.
• 특정 사전분포를 사용하여 경험 베이즈 사후분포를 구성하고, 백색잡음 모델에서 기본 신뢰집합을 정의하는 것.
• 자기유사성과 같은 이전의 가정을 일반화하는 매개변수 공간에 대한 조건으로 과도한 편향 제한(EBR)을 도입하는 것.
• EBR 하에서 신뢰집합의 크기(반경률)와 커버리지 확률 사이의 상호보완적 관계를 확립하는 것.
• EBR 하에서 DDM 수축률과 추정 오차에 대한 비점근적이고 l²에서 균일한 경계를 도출하는 것.
• EBR 조건을 활용하여 구성된 신뢰집합이 오라클 반경률과 신뢰 최적성을 달성함을 증명하는 것.

실험 결과

연구 질문

• RQ1 역문제에서 크기와 커버리지 확률 사이의 최적 균형을 달성할 수 있는 DDM-신뢰집합을 구성할 수 있는가?
• RQ2 자기유사성 또는 다듬어진 꼬리 조건과 비교할 때, 과도한 편향 제한(EBR)은 일반성과 적용 가능성 측면에서 어떻게 다른가?
• RQ3 EBR 하에서 약간의 불안정성이 있는 모델에서 DDM-신뢰집합의 최적 국소 반경률은 무엇인가?
• RQ4 EBR 하에서 DDM 수축 및 추정에 대한 비점근적이고 l²에서 균일한 결과를 도출할 수 있는가?
• RQ5 결과들이 다양한 부드러움 척도에 걸쳐 적응형 최소자승률을 얼마나 회복하거나 확장하는가?

주요 결과

• 과도한 편향 제한(EBR) 조건 하에서 구성된 DDM-신뢰집합은 진짜 매개변수의 국소 부드러움에 최적으로 적응하는 오라클 반경률을 달성한다.
• 논문은 전체 매개변수 공간에 걸쳐 비점근적이고 l²에서 균일한 DDM 수축률과 추정 오차 경계를 도출한다.
• EBR 하에서 신뢰집합의 신뢰 최적성이 입증되었으며, 이는 주어진 국소 부드러움에서 커버리지와 크기 사이의 최상의 균형을 달성한다는 것을 의미한다.
• 결과들은 이전의 적응형 최소자승 결과를 일반화하고 확장하며, Szabo, van der Vaart, van Zanten(2015)의 연구를 포함하여 다양한 부드러움 척도에 걸쳐 적용된다.
• EBR 조건이 자기유사성과 다듬어진 꼬리 조건보다 더 일반적이며, 역문제에서 더 넓은 적용 가능성을 제공함을 보였다.
• 이 프레임워크는 전반적인 부드러움 가정 없이 국소적이고 매개변수에 의존하는 행동에 기반하여 적응형 추론을 지원한다.