[論文レビュー] Estimator selection in the Gaussian setting

Yannick Baraud, Christophe Giraud+1 more|arXiv (Cornell University)|Jul 13, 2010

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿は、未知の分散を伴う正規分布位置モデルに対して、非漸近的推定量選択手順を提案する。同一のデータに基づき、任意の推定量集合から最適な推定量を選択する。鋭いリスクバウンドとオラクル不等式を確立し、推定量構造やデータへの依存性に関する仮定を必要とせずに、モデル選択、アグリゲーション、チューニングパrameter選択、変数選択において最適な性能を達成できる。

ABSTRACT

We consider the problem of estimating the mean $f$ of a Gaussian vector $Y$ with independent components of common unknown variance $\\sigma^{2}$. Our estimation procedure is based on estimator selection. More precisely, we start with an arbitrary and possibly infinite collection $\\FF$ of estimators of $f$ based on $Y$ and, with the same data $Y$, aim at selecting an estimator among $\\FF$ with the smallest Euclidean risk. No assumptions on the estimators are made and their dependencies with respect to $Y$ may be unknown. We establish a non-asymptotic risk bound for the selected estimator. As particular cases, our approach allows to handle the problems of aggregation and model selection as well as those of choosing a window and a kernel for estimating a regression function, or tuning the parameter involved in a penalized criterion. We also derive oracle-type inequalities when $\\FF$ consists of linear estimators. For illustration, we carry out two simulation studies. One aims at comparing our procedure to cross-validation for choosing a tuning parameter. The other shows how to implement our approach to solve the problem of variable selection in practice.

研究の動機と目的

• 未知の分散を伴う正規ベクトルモデルにおける一般的で非漸近的な推定量選択フレームワークの開発。
• 推定量の関数形やデータへの依存性を仮定せずに、同一のデータに基づき任意（無限を含む）の推定量集合から最適な推定量を選択すること。
• 選択された推定量に対する非漸近的リスクバウンドおよびオラクル型不等式を導出すること、特に推定量集合が線形推定量である場合に注目。
• 高次元設定におけるチューニングパrameter選択および変数選択のための、交差検証の実用的代替手法を提供すること。
• モデル選択、アグリゲーション、カーネルおよびバンド幅選択、正則化パrameterチューニングのアプローチを統一的かつ一般化すること。

提案手法

• 本手法は、ユークリッドリスクに基づくデータ駆動型ペナルティ基準を最小化することで、族 $\mathbb{F} = \{\widehat{f}_\lambda, \lambda \in \Lambda\}$ から推定量を選択する。
• 濃度不等式と二次形式の支配を用いて導出された非漸近的リスクバウンドを活用し、特に射影作用素とムーア・ペンローズ逆行列の構造を活用する。
• ノイズ分散 $\widehat{\sigma}^2$ のデータ駆動推定値を用いてペナルティ項をキャリブレーションし、未知の $\sigma^2$ に適応可能にする。
• 正定値作用素の逆行列のトレースをバウンドする重要な補題に依存しており、これが選択された推定量の有効次元を制御する。
• 線形推定量の場合、最良の可能な推定量の性能にログファクターまで一致するオラクル不等式を導出する。
• 選択ルールは計算的に効率的であり、交差検証とは異なりリサンプリングを必要としないため、高次元または複雑なモデルに適している。

実験結果

リサーチクエスチョン

• RQ1 推定量構造に関する事前知識がなくても、一様に最適なリスク性能を達成できる、一貫したデータ駆動型選択ルールは可能か？
• RQ2 未知の分散を伴う非漸近的設定において、任意の推定量族から最良の推定量をどのように選択できるか？
• RQ3 選択された推定量の理論的リスクバウンドは何か？ これはオラクルリスクと比べてどうか？
• RQ4 真の次元が未知または高次元であっても、線形推定量に対して本手法がオラクル不等式を達成できるか？
• RQ5 チューニングパrameter選択および変数選択のタスクにおいて、本手法は交差検証と比べてどのように異なるか？

主な発見

• 選択された推定量は、高確率で、集合 $\mathbb{F}$ 全体にわたって最適リスクの定数倍以内の非漸近的リスクバウンドを達成する。
• 線形推定量の場合、リスクが最良の可能なリスクと、$\dim(S_*) \log(p)$ に比例するペナルティ項の和で抑えられるオラクル不等式を達成する。ここで $p$ は予測変数の数である。
• グラム行列の逆行列のトレースに対する鋭いバウンドを提供し、これが有効次元を制御し、高次元設定でも安定性を保証する。
• リッジ回帰、lasso、カーネルスムージング、変数選択などの問題において、理論的保証とともに最適なチューニングを達成する。
• シミュレーション研究では、計算コストを著しく低減させながら、交差検証と同等またはそれ以上の性能を示す。
• 未知のノイズ分散に対してもロバストであり、リサンプリングを必要としないため、実用的には交差検証よりも効率的である。