[論文レビュー] Adaptive Nonparametric Empirical Bayes Estimation Via Wavelet Series

Rida Benhaddou, Marianna Pensky|arXiv (Cornell University)|May 4, 2012

Statistical Methods and Inference被引用数 1

ひとこと要約

本稿では、ウェーブレット級数展開を用いた適応的非パラメトリックな経験ベイズ推定量を提案し、最適収束速度を達成する。事前リスクの最小化によるウェーブレット係数の推定と、Lepskiの手法による分解能レベルの選択を組み合わせることで、適切に定義された低次元のスパース線形システムを介して、計算的に効率的で漸近的に最適な推定量が得られる。

ABSTRACT

In the present paper, we derive lower bounds for the risk of the nonparametric empirical Bayes estimators. In order to attain the optimal convergence rate, we propose generalization of the linear empirical Bayes estimation method which takes advantage of the flexibility of the wavelet techniques. We present an empirical Bayes estimator as a wavelet series expansion and estimate coefficients by minimizing the prior risk of the estimator. As a result, estimation of wavelet coefficients requires solution of a well-posed low-dimensional sparse system of linear equations. The dimension of the system depends on the size of wavelet support and smoothness of the Bayes estimator. An adaptive choice of the resolution level is carried out using Lepski (1997) method. The method is computationally efficient and provides asymptotically optimal adaptive EB estimators. The theory is supplemented by numerous examples.

研究の動機と目的

• 非パラメトリック経験ベイズ推定量のリスクの下界を導出すること。
• ウェーブレットの柔軟性を活用して、適応性と収束性を向上させる線形経験ベイズ推定の一般化を開発すること。
• ウェーブレット級数フレームワークにおいて事前リスクを最小化することで、漸近的に最適な推定を達成すること。
• 線形方程式の低次元スパースシステムの解法により、計算効率を確保すること。

提案手法

• 経験ベイズ推定量をマルチスケール表現を活用するウェーブレット級数展開として定式化する。
• 推定量の事前リスクを最小化することでウェーブレット係数を推定し、適切に定義された低次元のスパース線形方程式系が得られる。
• 方程式系の次元はウェーブレットのサポートサイズとベイズ推定量の滑らかさに依存する。
• 未知の滑らかさクラスにわたる最適な性能を保証するため、Lepskiの手法を用いて適応的分解能レベルを選択する。
• 分解能の適応によってバイアスとバイアスのバランスをとることで、漸近的最適性を確保する。
• 線形方程式系のスパース構造のおかげで、計算が効率的である。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットベースの級数展開は、非パラメトリック経験ベイズ推定量の収束速度を向上させることができるか？
• RQ2 ウェーブレット係数の推定をどのように定式化すれば、事前リスクを最小化しつつ計算可能性を維持できるか？
• RQ3 未知の滑らかさレベルにわたる漸近的最適性を保証する適応戦略は何か？
• RQ4 線形方程式系の次元はウェーブレットのサポートと推定量の滑らかさにどのように依存するか？
• RQ5 提案手法は最適リスク境界を達成しつつ、計算的に効率的であると期待できるか？

主な発見

• 提案されたウェーブレットベースの経験ベイズ推定量は、非パラメトリック推定において最適収束速度を達成する。
• ウェーブレット係数の推定は、適切に定義された低次元のスパース線形方程式系の解法に帰着する。
• Lepskiの手法による適応的分解能レベル選択によって、漸近的最適性が保証される。
• 線形方程式系のスパース構造のおかげで、計算の効率性が得られ、これはウェーブレットのサポートと滑らかさに依存する。
• 適応的分解能選択のおかげで、未知の滑らかさクラスにわたるロバスト性が確保される。
• 論文内の多数の例が、本手法の実用的有効性と理論的妥当性を示している。