[論文レビュー] The Brouwer Lecture 2005: Statistical estimation with model selection

Lucien Birgé|arXiv (Cornell University)|May 8, 2006

Statistical Methods and Inference参考文献 47被引用数 3

ひとこと要約

本稿は、ヒストグラムや回帰モデルなどの有限次元モデルに焦点を当て、モデル選択を用いた統計的推定の理論的枠組みを提示する。モデル選択手順のリスクバウンドを確立し、特にエントロピーに基づくペナルティを用いることで、近似的性の性質と複雑さに基づいてモデルを選択した場合、最良の個々のモデルに近い最適な性能が達成可能であることを示している。

ABSTRACT

The purpose of this paper is to explain the interest and importance of (approximate) models and model selection in Statistics. Starting from the very elementary example of histograms we present a general notion of finite dimensional model for statistical estimation and we explain what type of risk bounds can be expected from the use of one such model. We then give the performance of suitable model selection procedures from a family of such models. We illustrate our point of view by two main examples: the choice of a partition for designing a histogram from an n-sample and the problem of variable selection in the context of Gaussian regression.

研究の動機と目的

• 有限次元モデルにおけるモデル選択を用いた統計的推定の理論的基盤を確立すること。
• 統計的推定における近似精度とモデルの複雑さのトレードオフを分析すること。
• ヒストグラムや回帰モデルを含む多様なモデルにおいて、モデル選択が近似的に最適な性能を達成できるかを示すこと。
• 特にエントロピーとメトリック次元の議論を通じて、統計的推定と近似理論を結びつけること。
• バイアスとバリアンスのバランスを複雑さペナルティを用いて行う、統一的なモデル選択フレームワークを提供すること。

提案手法

• 未知の密度関数を近似する統計的近似として、有限次元モデル（例えば、分割上の区分的定数関数）を用いる。
• リスク分解の概念を適用する：総リスク = 近似誤差 + 評価誤差。
• 過学習を制御するため、モデルの複雑さ（次元およびメトリックエントロピー）に基づくペナルティ項を導入する。
• モデル族から最良のモデルを選択するために、ペナルティ付きリスク基準を最小化する原理を用いる。
• 近似理論の結果（例：DeVoreとYu, 1990）を活用し、Besov空間における良好な近似性を持つモデルを同定する。
• エントロピーに基づく複雑さの測度を用いて、モデル選択の性能をバウンドし、近似的最適性を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデル選択手順は、どのように有限次元モデル族全体で近似的に最適なリスク性能を達成できるか？
• RQ2 モデルの複雑さ（次元、エントロピー）と統計的モデルにおける推定リスクの関係は何か？
• RQ3 モデルの近似性（例えば、正則な対比して不規則な分割）がモデル選択の性能に与える影響は何か？
• RQ4 どのような意味で、モデル選択はモデル族の中で最良の個々のモデルに近い性能を達成できるか？
• RQ5 近似理論の結果は、どのようにしてモデル選択による統計的推定の改善に体系的に応用できるか？

主な発見

• ペナルティ付きリスク基準に基づくモデル選択は、モデル族の中の最良の個々のモデルと比較して、定数倍の要因を除き、ほぼ最適なリスクバウンドを達成する。
• モデル選択の性能は、近似誤差と推定誤差のトレードオフに支配され、後者はモデルのメトリックエントロピーに比例する複雑さペナルティによって制御される。
• 良好な近似性を持つモデル族（例えば、不規則な分割またはウェーブレットに基づくモデル）では、ペナルティをモデル次元に比例させることが可能であり、これにより近似的最適性が保証される。
• Besov空間における近似性の性質を用いることで、標準的な正則な分割よりも顕著に推定精度を向上させるより豊かなモデル族を構築できる。
• 特にエントロピーと近似速度に関する近似理論の理論的結果が、最適なモデル選択手順の設計に直接的かつ明確に寄与する。
• このフレームワークは、ヒストグラム、ウェーブレットスレッショーディング、回帰などのさまざまな統計的手法を、複雑さと近似性に基づく共通のモデル選択原理によって統一する。