[논문 리뷰] Adaptive Nonparametric Empirical Bayes Estimation Via Wavelet Series

Rida Benhaddou, Marianna Pensky|arXiv (Cornell University)|2012. 05. 04.

Statistical Methods and Inference인용 수 1

한 줄 요약

이 논문은 최적의 수렴 속도를 달성하기 위해 웨이브렛 급수 전개를 사용하는 적응형 비모수 베이지안 추정기의 제안한다. 사전 위험 최소화를 통한 웨이브렛 계수 추정과 Lepski의 방법을 활용한 해상도 수준 선택을 통해, 잘 정의된 낮은 차원의 희소 선형 시스템을 통해 계산적으로 효율적이고 점근적으로 최적의 추정기를 도출한다.

ABSTRACT

In the present paper, we derive lower bounds for the risk of the nonparametric empirical Bayes estimators. In order to attain the optimal convergence rate, we propose generalization of the linear empirical Bayes estimation method which takes advantage of the flexibility of the wavelet techniques. We present an empirical Bayes estimator as a wavelet series expansion and estimate coefficients by minimizing the prior risk of the estimator. As a result, estimation of wavelet coefficients requires solution of a well-posed low-dimensional sparse system of linear equations. The dimension of the system depends on the size of wavelet support and smoothness of the Bayes estimator. An adaptive choice of the resolution level is carried out using Lepski (1997) method. The method is computationally efficient and provides asymptotically optimal adaptive EB estimators. The theory is supplemented by numerous examples.

연구 동기 및 목표

• 비모수 베이지안 추정기의 위험에 대한 하한을 유도하기 위해.
• 웨이브렛의 유연성을 활용하여 적응성과 수렴 속도를 향상시킬 수 있는 선형 베이지안 추정의 일반화를 개발하기 위해.
• 웨이브렛 급수 프레임워크 내에서 사전 위험 최소화를 통해 점근적으로 최적의 추정을 달성하기 위해.
• 낮은 차원의 희소 선형 시스템의 해법을 통해 계산 효율성을 확보하기 위해.

제안 방법

• 비모수적 표현을 활용하기 위해 경험 베이지안 추정기를 웨이브렛 급수 전개로 설정한다.
• 웨이브렛 계수를 추정하기 위해 추정기의 사전 위험 최소화를 통해 잘 정의된 낮은 차원의 희소 선형 방정식 시스템을 도출한다.
• 이 시스템의 차원은 웨이브렛의 지지 크기와 베이즈 추정기의 매끄러움 정도에 의해 결정된다.
• 알 수 없는 매끄러움 정도의 클래스에서 최적의 성능을 확보하기 위해 Lepski의 방법을 활용해 적응형 해상도 수준을 선택한다.
• 해상도 적응을 통해 편향과 분산을 균형 잡음으로써 점근적 최적성을 확보한다.
• 희소 선형 시스템의 특성 덕분에 계산적으로 효율적인 접근을 구현한다.

실험 결과

연구 질문

• RQ1 웨이브렛 기반 급수 전개가 비모수적 경험 베이지안 추정기의 수렴 속도를 향상시킬 수 있는가?
• RQ2 웨이브렛 계수 추정을 어떻게 설정하면 사전 위험을 최소화하면서도 계산 가능성을 유지할 수 있는가?
• RQ3 어떤 적응 전략이 알 수 없는 매끄러움 수준에서 점근적 최적성을 보장하는가?
• RQ4 선형 시스템의 차원이 웨이브렛 지지와 추정기의 매끄러움 정도에 어떻게 의존하는가?
• RQ5 제안된 방법은 최적의 위험 한계를 확보하면서도 계산적으로 효율적인가?

주요 결과

• 제안된 웨이브렛 기반 경험 베이지안 추정기는 비모수 추정에서 최적의 수렴 속도를 달성한다.
• 웨이브렛 계수의 추정은 잘 정의된 낮은 차원의 희소 선형 방정식 시스템의 해법으로 귀결된다.
• Lepski의 방법을 활용한 적응형 해상도 수준 선택을 통해 점근적 최적성이 보장된다.
• 웨이브렛 지지와 매끄러움 정도에 따라 결정되는 선형 시스템의 희소 구조 덕분에 계산 효율성이 확보된다.
• 적응형 해상도 수준 선택 덕분에 알 수 없는 매끄러움 정도의 클래스에 대해 강건한 성능을 보인다.
• 논문 내 수많은 예시들은 이 방법의 실용적 효과성과 이론적 타당성을 입증한다.