[論文レビュー] The Slope Heuristics in Heteroscedastic Regression

Adrien Saumard|arXiv (Cornell University)|Apr 6, 2011

Statistical Methods and Inference参考文献 29被引用数 5

ひとこと要約

本稿は、分(piecewise)多項式モデルを用いた異分散性非パラメトリック回帰におけるスロープヒューリスティクスの最適性を確立する。最適ペナルティが最小ペナルティの丁度2倍であることを証明し、漸近的でないパスワイズオラクル不等式を導出し、その主要定数が1に近づくことを示し、理想のペナルティが未知である場合に漸近的に最適となるホールドアウトペナルティ手続きを提案する。

ABSTRACT

We consider the estimation of a regression function with random design and heteroscedastic noise in a nonparametric setting. More precisely, we address the problem of characterizing the optimal penalty when the regression function is estimated by using a penalized least-squares model selection method. In this context, we show the existence of a minimal penalty, defined to be the maximum level of penalization under which the model selection procedure totally misbehaves. The optimal penalty is shown to be twice the minimal one and to satisfy a non-asymptotic pathwise oracle inequality with leading constant almost one. Finally, the ideal penalty being unknown in general, we propose a hold-out penalization procedure and show that the latter is asymptotically optimal.

研究の動機と目的

• ランダムデザインにおけるペナルティ付き最小二乗法によるモデル選択を用いた非パラメトリックな異分散性回帰における最適ペナルティの特定。
• モデル選択が完全に失敗するまでの最小ペナルティレベルの存在を確立する。
• 最適ペナルティが最小ペナルティの丁度2倍であることを示し、主要定数が1に近づくパスワイズオラクル不等式を保証する。
• 理想のペナルティが未知である場合に漸近的に最適となるホールドアウトペナルティ手続きの開発と検証。

提案手法

• 分(piecewise)多項式関数を用いたペナルティ付き最小二乗法のモデル選択フレームワークを採用し、異分散性ノイズ下での回帰関数推定を実施する。
• 集中不等式を用いた漸近的でない解析により、経験的ペナルティとその期待値との乖離を制限する。
• 最小ペナルティは、モデル選択手順が完全に失敗する最大のペナルティレベルとして定義され、最適ペナルティはこの値の2倍として導出される。
• データを推定用とキャリブレーション用に分割することで、理想ペナルティを近似するホールドアウトペナルティ手続きを提案する。
• 理論的分析にはタラントランド型不等式を用い、リスク分解におけるバイアスとバリアンス項のきめ細やかな制御を行う。
• モデルの複雑さと標本サイズにやや厳しい条件を課すと、パスワイズオラクル不等式の主要定数が1に収束する理論的保証が得られる。

実験結果

リサーチクエスチョン

• RQ1 異分散性非パラメトリック回帰における最小ペナルティと最適ペナルティの関係は何か？
• RQ2 ランダムデザインおよび異分散性ノイズの文脈において、最適ペナルティが最小ペナルティの2倍であるというスロープヒューリスティクスの原則は、厳密に正当化可能か？
• RQ3 理想ペナルティが未知である場合に、ホールドアウトペナルティ手続きは漸近的に最適性を達成するか？
• RQ4 このペナルティスキーム下で、オラクル不等式の主要定数は標本サイズが増加するにつれてどのように振る舞うか？
• RQ5 結果はヒストグラムモデルを超えて、より一般的な分(piecewise)多項式モデルへ拡張可能か？

主な発見

• 最適ペナルティは最小ペナルティの丁度2倍であり、非パラメトリックな異分散性設定においてスロープヒューリスティクスが初めて厳密に正当化された。
• 得られたオラクル不等式の主要定数は、標本サイズが増加するにつれて1に収束し、ほぼ最適な性能を示す。
• ホールドアウトペナルティ手続きは漸近的に最適であることが証明され、理想ペナルティが不明な場合の実用的なキャリブレーション手法を提供する。
• 漸近的でないパスワイズオラクル不等式は高確率で成立し、主要定数は (ln n)^(1−τ)/2 に比例する項で有界であり、1に近づく。
• 理論的枠組みは、モデルの複雑さと標本サイズにやや厳しい条件を課す限り、分(piecewise)多項式モデルに適用可能であり、従来のヒストグラムベースの結果を拡張する。
• 分析により、最小ペナルティはモデル選択が完全に失敗する閾値であることが確認され、モデル選択における失敗の明確な操作的定義が得られる。