[논문 리뷰] Sharp regret bounds for empirical Bayes and compound decision problems

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|2021. 09. 08.

Statistical Methods and Inference참고 문헌 40인용 수 6

한 줄 요약

이 논문은 정규분포 및 포아송 위치 모델에서의 경험베이즈 및 복합결정 문제에 대해 날카로운 渐近적 손실 경계를 확립한다. 압축된 지표가 있는 경우, 포아송 모델에서 최적의 손실은 $Θ((\log n / \log\log n)^2)$로 스케일링되고, 하위지수적 지표가 있는 경우 $Θ(\log^3 n)$로 스케일링되며, 이는 정규 모델에서 각각 $Ω((\log n / \log\log n)^2)$ 및 $Ω(\log^2 n)$의 하한 경계를 제공함으로써 오랫동안 남아있던 추측을 해결하고 데이터 기반 수축 추정기의 엄밀한 성능 한계를 확립한다.

ABSTRACT

We consider the classical problems of estimating the mean of an $n$-dimensional normally (with identity covariance matrix) or Poisson distributed vector under the squared loss. In a Bayesian setting the optimal estimator is given by the prior-dependent conditional mean. In a frequentist setting various shrinkage methods were developed over the last century. The framework of empirical Bayes, put forth by Robbins (1956), combines Bayesian and frequentist mindsets by postulating that the parameters are independent but with an unknown prior and aims to use a fully data-driven estimator to compete with the Bayesian oracle that knows the true prior. The central figure of merit is the regret, namely, the total excess risk over the Bayes risk in the worst case (over the priors). Although this paradigm was introduced more than 60 years ago, little is known about the asymptotic scaling of the optimal regret in the nonparametric setting. We show that for the Poisson model with compactly supported and subexponential priors, the optimal regret scales as $Θ((\frac{\log n}{\log\log n})^2)$ and $Θ(\log^3 n)$, respectively, both attained by the original estimator of Robbins. For the normal mean model, the regret is shown to be at least $Ω((\frac{\log n}{\log\log n})^2)$ and $Ω(\log^2 n)$ for compactly supported and subgaussian priors, respectively, the former of which resolves the conjecture of Singh (1979) on the impossibility of achieving bounded regret; before this work, the best regret lower bound was $Ω(1)$. In addition to the empirical Bayes setting, these results are shown to hold in the compound setting where the parameters are deterministic. As a side application, the construction in this paper also leads to improved or new lower bounds for density estimation of Gaussian and Poisson mixtures.

연구 동기 및 목표

• 비모수적 설정에서 경험베이즈 및 복합결정 문제에 대한 날카로운 점근적 손실 경계를 확립하기 위해.
• 압축된 지표가 있는 정규분포 평균 모델에서 유한한 손실을 달성할 수 없다는 싱크의 (1979) 추측을 해결하기 위해.
• 압축된 지표, 서브가우시안, 하위지수적 지표 등의 다양한 지표 가정 하에 정규 및 포아송 모델에서 손실에 대한 날카로운 상한 및 하한 경계를 유도하기 위해.
• 모수가 결정론적일 때의 복합결정 설정으로 결과를 확장하여, 손실 스케일링에서 동등함을 보여주기 위해.
• 구성 방법을 응용하여 가우시안 및 포아송 위치-척도 혼합 밀도 추정에 대한 새로운 또는 향상된 최소최대 하한 경계를 유도하기 위해.

제안 방법

• 손실 분석을 일반적인 손실 하한 경계 프로그램을 통해 회귀 함수 추정으로 환원한다.
• 아소드의 보조정리와 일반화된 판노 방법의 변형을 사용하여, 철저히 구성된 매개변수 구성에 대한 지표를 통해 손실 하한을 도출한다.
• 무거운 尾을 지닌 또는 유계가 아닌 지표의 영향을 통제하기 위해 절단 기법을 사용하며, 오차가 제어 가능한 범위 내에서 손실이 절단에 대해 안정적임을 보여준다.
• 로빈스 추정기(고전적 경험베이즈 방법)를 적용하여, 정규 및 포아송 모델 모두에서 최적의 손실 스케일링을 달성함을 보여준다.
• 적분 연산자의 스펙트럼 성질과 orthonormal 기저 함수(예: 에르미트 및 라게르르 함수)를 활용하여, 제어 가능한 모멘트와 노름을 갖는 테스트 지표를 구성한다.
• 자료 처리 부등식과 헬링거 거리 경계를 사용하여 혼합 밀도의 추정 오차와 결정 문제의 손실을 연결한다.

실험 결과

연구 질문

• RQ1 압축된 지표가 있는 정규분포 평균 모델에서 경험베이즈 프레임워크에서 최적의 점근적 손실 스케일링은 무엇인가?
• RQ2 싱크(1979)의 추측, 즉 압축된 지표가 있는 정규분포 평균 모델에서 유한한 손실을 달성하는 것이 불가능하다는 추측은 해결될 수 있는가? 그리고 정규분포 평균 모델에서 손실의 진정한 하한은 무엇인가?
• RQ3 압축된 지표 및 하위지수적 지표가 있는 포아송 모델에서의 날카로운 손실 스케일링은 무엇인가?
• RQ4 경험베이즈 설정에서의 손실 경계는 매개변수가 결정론적일 때의 복합결정 설정에서의 경계와 어떻게 비교되는가?
• RQ5 손실 하한 경계를 위한 구성 방법을 재사용하여, 가우시안 및 포아송 혼합 밀도 추정에 대한 새로운 최소최대 하한 경계를 도출할 수 있는가?

주요 결과

• 압축된 지표가 있는 포아송 모델에서 최적의 손실은 $Θ((\log n / \log\log n)^2)$로 스케일링되고, 하위지수적 지표가 있는 경우 $Θ(\log^3 n)$로 스케일링되며, 이는 모두 로빈스 추정기에 의해 달성된다.
• 정규분포 평균 모델에서 압축된 지표가 있는 경우 손실은 $Ω((\log n / \log\log n)^2)$ 이상이 되며, 이는 싱크(1979)의 추측을 해결한다.
• 정규 모델에서 서브가우시안 지표에 대해 손실은 $Ω(\log^2 n)$ 이상이 되며, 이는 이전까지의 최선의 하한 $Ω(1)$보다 향상된 것이다.
• 동일한 손실 스케일링이 매개변수가 랜덤이 아닌 결정론적일 때의 복합결정 설정에서도 유지되며, 기초적 한계에서 동등함을 보여준다.
• 이 구성은 가우시안 혼합 밀도 추정에 대한 새로운 최소최대 하한 경계를 이끌어낸다: 압축된 평균에 대해 $Ω(\frac{\log n}{n \log\log n})$, 서브가우시안 혼합에 대해 $Ω(\frac{\log n}{n})$.
• 결과는 날카로우며, 하한 경계가 각각의 모델에서 로빈스 추정기가 달성하는 상한 경계와 정확히 일치한다.