[논문 리뷰] Needles and straw in a haystack: robust empirical Bayes confidence for possibly sparse sequences

Eduard Belitser, Nurzhan Nurushev|arXiv (Cornell University)|2015. 11. 05.

Statistical Methods and Inference참고 문헌 23인용 수 12

한 줄 요약

이 논문은 과잉 편향 제약 조건 하에서 오рак루스 속도로 수축하는 경험베이즈 사후분포에서 유도된 신뢰구역을 이용하여 희박한 정규 평균 모델에서의 불확실성 측정을 위한 강건한 경험베이즈 방법을 개발한다. 이 방법은 추정과 사후수축에 대해 적응형 최소최대 최적성을 보장하며, 신뢰구역 반경에 추가적인 로그 인자가 포함되어 있으나, 그 필요성은 아직 해결되지 않았다.

ABSTRACT

In the many normal means model we construct an empirical Bayes posterior which we then use for uncertainty quantification for the unknown (possibly sparse) parameter by constructing an estimator and a confidence set around it as empirical Bayes credible ball. We allow the model to be misspecified (the normality assumption can be dropped, with some moment conditions instead), leading to the robust empirical Bayes inference. An important step in assessing the uncertainty is the derivation of the fact that the empirical Bayes posterior contracts to the parameter with a local (i.e., depending on the parameter) rate which is the best over certain family of local rates; therefore called oracle rate. We introduce the so called excessive bias restriction under which we establish the local (oracle) confidence optimality of the empirical Bayes credible ball. Adaptive minimax results (for the estimation and posterior contraction problems) over sparsity classes follow from our local results. An extra (square root of) log factor appears in the radial rate of the confidence ball; it is not known whether this is an artifact or not.

연구 동기 및 목표

• 모델가정 위반 가능성이 있는 희박한 정규 평균 모델에 대한 불확실성 측정 방법 개발.
• 정규성 가정이 완화된 경우에도 오라클 속도로 국소 사후수축을 확보하는 것.
• 과잉 편향 제약 조건 하에서 최적의 국소 빈도적 커버리지 달성하는 신뢰집합(신뢰구역) 도출.
• 다양한 희박성 클래스에 걸쳐 추정과 사후수축에 대해 적응형 최소최대 결과 달성.
• 신뢰구역 반경에 추가로 포함된 로그 인자가 필수적인지 여부 조사.

제안 방법

• 데이터 기반 사전분포를 이용해 경험베이즈 사후분포를 구성함으로써 엄격한 정규성 조건 없이도 강건한 추론 가능.
• 희박한 설정에서 편향을 제어하고 오라클 속도로 사후집중을 보장하기 위해 과잉 편향 제약 조건 도입.
• 지역 위험에 따라 의존하는 반경을 갖는 경험베이즈 추정치 중심의 신뢰집합을 신뢰구역으로 도출.
• 엄격한 정규성 대신 모멘트 조건을 사용하여 모형 오류 가능성을 허용하면서도 이론적 보장을 유지.
• 지역 위험 분석을 통해 경험베이즈 사후분포의 최적 수축 속도 유도.
• 다양한 희박성 클래스에서 최선의 가능한 속도를 달성함으로써 적응형 최소최대성을 입증.

실험 결과

연구 질문

• RQ1 모형 오류가 있을 경우 경험베이즈 추론이 국소 오라클 사후수축 속도를 달성할 수 있는가?
• RQ2 경험베이즈 신뢰구역이 최적의 빈도적 커버리지를 제공하기 위해 필요한 조건은 무엇인가?
• RQ3 과잉 편향 제약 조건이 희박한 설정에서 경험베이즈 사후분포 성능에 미치는 영향는 어떠한가?
• RQ4 신뢰구역 반경에 추가된 로그 인자는 최적성에 필수적인가, 아니면 분석의 산물인가?
• RQ5 제안된 방법이 다양한 희박성 클래스에서 추정과 사후수축에 대해 적응형 최소최대 속도를 달성할 수 있는가?

주요 결과

• 정규성 가정이 완화된 경우에도 과잉 편향 제약 조건 하에서 경험베이즈 사후분포는 진짜 매개변수로 오라클 속도로 수축한다.
• 경험베이즈 신뢰구역은 국소 신뢰 최적성(최소한의 가능한 신뢰집합)을 달성하며, 주어진 조건 하에서 가장 작아야 할 수 있다.
• 다양한 희박성 클래스에서 적응형 최소최대 추정 및 사후수축 결과를 확립하여 강건성과 최적성을 입증.
• 신뢰구역 반경에 추가적인 (제곱근의) 로그 인자가 포함되어 있으나, 이 인자가 필수적인지 여부는 아직 알려져 있지 않다.
• 엄격한 정규성 조건이 아닌 모멘트 조건 하에서도 방법이 유효하여 모형 오류에 대해 강건하다.
• 과잉 편향 제약 조건이 희박하고 가능하게 오류가 있는 모형에서 최적의 불확실성 측정을 달성하기 위한 핵심 조건임을 입증.