[論文レビュー] Data-driven calibration of linear estimators with minimal penalties

Sylvain Arlot, Francis Bach|arXiv (Cornell University)|Sep 10, 2009

Statistical Methods and Inference参考文献 44被引用数 31

ひとこと要約

本稿では、ノイズ分散を推定するために最小ペナルティ理論を用いたデータ駆動型キャリブレーション手法を提案する。この推定値を用いてMallowsの$C_L$ペナルティを適用することで、オラクル不等式を達成する。この手法は、カーネルリッジ回帰、近隣法、局所加重回帰において、一般化交差検証（GCV）を上回る性能を示し、非漸近的理論的保証と多様な線形推定問題における一貫性のある性能を提供する。

ABSTRACT

This paper tackles the problem of selecting among several linear estimators in non-parametric regression; this includes model selection for linear regression, the choice of a regularization parameter in kernel ridge regression, spline smoothing or locally weighted regression, and the choice of a kernel in multiple kernel learning. We propose a new algorithm which first estimates consistently the variance of the noise, based upon the concept of minimal penalty, which was previously introduced in the context of model selection. Then, plugging our variance estimate in Mallows' $C_L$ penalty is proved to lead to an algorithm satisfying an oracle inequality. Simulation experiments with kernel ridge regression and multiple kernel learning show that the proposed algorithm often improves significantly existing calibration procedures such as generalized cross-validation.

研究の動機と目的

• 非パラメトリック回帰における正則化パラメータの最適選択を、交差検証に依存せずに達成すること。
• 最小ペナルティの概念を非正則化から、一般の離散的および連続的線形推定子クラスへ拡張すること。
• 非漸近的オラクル不等式を満たす完全にデータ駆動型のアルゴリズムを開発すること。
• Tikhonov正則化および関連手法で一般的に用いられるL曲線に基づくヒューリスティックなキャリブレーション手法に理論的裏付けを提供すること。

提案手法

• 最小ペナルティ原理を用いてノイズ分散を推定する。この原理は、モデル選択が安定化する最小のペナルティを特定する。
• 推定された分散を用いてMallowsの$C_L$ペナルティを適用し、最適な線形推定子を選択する。
• 異なる推定子間での経験的リスクと真のリスクの乖離を制御するための新規な集中不等式を用いる。
• 選択された推定子のリスクがクラス内での最良のものと比較してどのように抑えられるかを示す非漸近的オラクル不等式を導出する。
• 離散的クラス（例えば線形回帰におけるモデル選択）および連続的族（例えばリッジ回帰、スプラインスムージング）にこの枠組みを適用する。
• カーネルリッジ回帰、複数カーネル学習、局所加重回帰におけるシミュレーション実験を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 最小ペナルティ原理は、非正則化最小二乗法から、一般の離散的線形作用素クラスへ拡張可能か？
• RQ2 最小ペナルティに基づくデータ駆動型ノイズ分散推定は、線形推定におけるリスク性能を向上させるか？
• RQ3 この推定分散を用いたMallowsの$C_L$ペナルティは、非漸近的設定でもオラクル不等式を達成可能か？
• RQ4 一般化交差検証（GCV）と比較して、本手法はリスクと一貫性の面で優れているか？
• RQ5 L曲線に基づくキャリブレーションヒューリスティックには、どのような理論的裏付けを提供できるか？

主な発見

• 提案手法は非漸近的オラクル不等式を達成しており、推定子のリスクがクラス内での最良のものに近いことを意味する。
• カーネルリッジ回帰、近隣法、局所加重回帰において、シミュレーションで一般化交差検証（GCV）を一貫して上回る性能を示した。
• 設計およびノイズ分布にやや弱い仮定の下で、最小ペナルティによるノイズ分散推定は一貫性を示す。
• 理論的解析により、線形作用素に対して特化した新規な不等式を導出し、鋭い集中バインディングを提供した。
• 本手法により、リッジ回帰やスプラインスムージングに現れるような連続的推定子族に対しても、最小ペナルティ理論が成功裏に拡張された。
• 実験結果から、特に小標本領域において、従来のキャリブレーション手順に比べて顕著な性能向上が得られた。