[論文レビュー] Model selection in density estimation via cross-validation

Alain Célisse|arXiv (Cornell University)|Oct 10, 2008

Statistical Methods and Inference参考文献 43被引用数 1

ひとこと要約

本稿は密度推定における交差検証（CV）の理論的分析を提供し、射影に基づく手法におけるCVリスク推定器の閉形式表現を導出する。ホルダー空間およびベソフ空間におけるオракル不等式と適応性の結果を確立し、テストセットの標本数が大きくなるに従いペナルティが強くなるため、CVの性能が向上することを示している。

ABSTRACT

The problem of model selection by cross-validation is addressed in the density estimation framework. Extensively used in practice, cross-validation (CV) remains poorly understood, especially in the non-asymptotic setting which is the main concern of this work. A recurrent problem with CV is the computation time it involves. This drawback is overcome here thanks to closed-form expressions for the CV estimator of the risk for a broad class of widespread estimators: projection estimators. In order to shed new lights on CV procedures with respect to the cardinality $p$ of the test set, the CV estimator is interpreted as a penalized criterion with a random penalty. For instance, the amount of penalization is shown to increase with $p$. A theoretical assessment of the CV performance is carried out thanks to two oracle inequalities applying to respectively bounded or square-integrable densities. For several collections of models, adaptivity results with respect to Holder and Besov spaces are derived as well.

研究の動機と目的

• 密度推定における非漸近的設定下での交差検証（CV）の理論的理解の不足に対処すること。
• 射影推定器におけるCVリスクの閉形式表現を導出することで、CVの計算負荷を低減すること。
• CVを確率的ペナルティを持つペナルティ基準として解釈し、ペナルティの強さがテストセットサイズ $ p $ にどのように依存するかを分析すること。
• 有界密度および二階可積分密度の仮定下で、オラクル不等式を用いてCVの理論的性能保証を確立すること。
• ホルダー空間やベソフ空間などの関数空間におけるCVの適応性結果を導出すること。

提案手法

• 射影推定器におけるCVリスク推定器の閉形式表現を、広範なクラスの推定器に対して導出することで、計算を効率化する。
• CV基準を、テストセットのサイズ $ p $ に応じて増加する確率的ペナルティを持つ尤度のペナルティ化として解釈する。
• 有界密度と二階可積分密度の両方に対して、2つのオラクル不等式を適用し、CVの性能を評価する。
• これらの不等式を用いて、ホルダー空間およびベソフ空間における適応性結果を導出し、CVが最適または近似的に最適な収束速度に近いモデル選択が可能であることを示す。
• モデル集合やテストセットサイズを変化させた場合のCVの挙動を分析し、その理論的頑健性を理解する。

実験結果

リサーチクエスチョン

• RQ1 密度推定における交差検証を、理論的保証を失うことなく計算的に効率化する方法は何か？
• RQ2 テストセットサイズ $ p $ とCVにおける有効なペナルティの強さとの間の理論的関係は何か？
• RQ3 有界密度または二階可積分密度の仮定下で、CVはリスク推定においてオラクル性能を達成できるか？
• RQ4 ホルダー空間やベソフ空間などの非パラメトリック関数空間において、CVはどの程度適応的にモデルを選択できるか？
• RQ5 CVを確率的ペナルティを持つペナルティ基準として解釈することで、その挙動に関する理解はどのように向上するか？

主な発見

• 射影推定器におけるCVリスク推定器の閉形式表現が導出され、計算コストが著しく低減される。
• CV手順が、テストセットサイズ $ p $ に応じて増加するペナルティを持つペナルティ基準として解釈され、バイアス・バリアンスのトレードオフが説明される。
• 有界密度および二階可積分密度の両方に対してオラクル不等式が確立され、CVリスク性能の理論的バウンディングが得られる。
• ホルダー空間およびベソフ空間における適応性結果が導出され、CVが最適または近似的に最適な収束速度に到達できることを示している。
• 理論的分析により、$ p $ が大きくなるほどCVの性能が向上することが確認され、過学習を低減する強力なペナルティが働くためである。