[論文レビュー] Choosing a penalty for model selection in heteroscedastic regression

Sylvain Arlot|arXiv (Cornell University)|Dec 16, 2008

Statistical Methods and Inference参考文献 26被引用数 5

ひとこと要約

本稿は異分散回帰におけるモデル選択を調査し、次のような結果を示している。分散が不均一な状況下では、次元に基づくペナルティ（例：$C_p$）は最適でなく、リスクの乗数的増大要因 $\mathbb{C}_1 > 1$ を引き起こす。一方で、適切にキャリブレーションされた次元に基づくペナルティは、オラクルに対する定数倍の損失 $\mathbb{C}_2 > \mathbb{C}_1$ をもたらすが、これは有限で実用的に許容可能である。一方、$C_p$ は深刻な過適合を起こし、標本サイズに応じて増大する要因を失う。この結果、計算コストが許容できる場合には、再サンプリングに基づくペナルティが好ましいと結論づけられる。

ABSTRACT

We consider the problem of choosing between several models in least-squares regression with heteroscedastic data. We prove that any penalization procedure is suboptimal when the penalty is a function of the dimension of the model, at least for some typical heteroscedastic model selection problems. In particular, Mallows' Cp is suboptimal in this framework. On the contrary, optimal model selection is possible with data-driven penalties such as resampling or $V$-fold penalties. Therefore, it is worth estimating the shape of the penalty from data, even at the price of a higher computational cost. Simulation experiments illustrate the existence of a trade-off between statistical accuracy and computational complexity. As a conclusion, we sketch some rules for choosing a penalty in least-squares regression, depending on what is known about possible variations of the noise-level.

研究の動機と目的

• 再サンプリングに基づくペナルティが、異分散回帰における最適なモデル選択に必要かどうかを明らかにすること。
• 異分散性下での次元に基づくペナルティ（例：$C_p$）の統計的性能を評価すること。
• 次元に基づくペナルティが、近似的に最適を維持できる条件を同定すること。
• ノイズレベルに関する事前知識と計算制約に基づいてペナルティを選択するための意思決定フレームワークを提供すること。

提案手法

• ランダム設計のもとでの非漸近的枠組みにおいて、ペナルティ付き最小二乗推定によるモデル選択の理論的分析。
• 再サンプリングに基づくペナルティ（例：$V$-fold）および次元に基づくペナルティのオラクル不等式の導出。
• $C_p$ が異分散性下で最適でないことを証明し、リスクが要因 $\mathbb{C}_1 > 1$ で増大することを示す。
• オラクルに対する定数倍の損失 $\mathbb{C}_2 > \mathbb{C}_1$ をもたらすが、これは有界で実用的に許容可能な適切にキャリブレーションされた次元に基づくペナルティを確立する。
• 有限標本における挙動と計算コストのトレードオフを評価するシミュレーションスタディ。
• ノイズの不均一性に関する事前知識と計算予算に基づいたペナルティ選択の意思決定ルールの開発。

実験結果

リサーチクエスチョン

• RQ1 $C_p$ はデータが異分散的である場合でもモデル選択において最適であるのか、それともリスクが増大するのか？
• RQ2 次元に基づくペナルティは、異分散回帰において近似的に最適な性能を達成できるようにキャリブレーション可能か？
• RQ3 $C_p$ 型ペナルティと再サンプリングに基づくペナルティの間で、統計的性能と計算コストのトレードオフはどのようなものか？
• RQ4 どのような条件下で、適切にキャリブレーションされた次元に基づくペナルティが、再サンプリングに基づくペナルティを上回るか、あるいは同等の性能を示すのか？
• RQ5 有限標本において、信号対雑音比が、複雑なペナルティキャリブレーションの必要性にどのように影響するか？

主な発見

• 次元に基づくペナルティ（例：$C_p$）は異分散回帰において最適でなく、選択された推定量のリスクはオラクルと比較して要因 $\mathbb{C}_1 > 1$ で増大する。
• モデル次元に比例する適切にキャリブレーションされたペナルティは、定数倍の損失 $\mathbb{C}_2 > \mathbb{C}_1$ をもたらすが、これは有界であり、実用上許容可能である。
• $C_p$ は一部の異分散的状況では著しく過適合を起こし、標本サイズに応じて増大するリスク増大要因を示し、無限大に近づく。
• 再サンプリングに基づくペナルティ（例：$V$-fold）は、リーディング定数が1に近づくオラクル不等式を満たし、異分散性下で漸近的に最適である。
• 有限標本では、適切にキャリブレーションされた次元に基づくペナルティを改善するには、計算コストの大幅な増加が必要であり、特に信号対雑音比が低い場合に顕著である。
• $C_p$ と再サンプリングに基づくペナルティの選択は、ノイズの不均一性に関する事前知識と利用可能な計算リソースに強く依存する。