[論文レビュー] Degrees of Freedom and Model Search

Ryan J. Tibshirani|arXiv (Cornell University)|Feb 9, 2014

Statistical Methods and Inference参考文献 14被引用数 5

ひとこと要約

この論文は、直交予測変数のもとで、ベストサブセット選択の自由度の正確な表現を導出する。モデル選択の有効コストを定量化するための「探索自由度」という概念を導入し、不連続関数を扱えるようにスティーンの公式を拡張する。ベストサブセット選択では、選択の適応的性質のため、自由度は選択された変数の数を上回るが、ラッソでは自由度が選択された変数の期待値に等しくなる。

ABSTRACT

Degrees of freedom is a fundamental concept in statistical modeling, as it provides a quantitative description of the amount of fitting performed by a given procedure. But, despite this fundamental role in statistics, its behavior not completely well-understood, even in some fairly basic settings. For example, it may seem intuitively obvious that the best subset selection fit with subset size k has degrees of freedom larger than k, but this has not been formally verified, nor has is been precisely studied. In large part, the current paper is motivated by this particular problem, and we derive an exact expression for the degrees of freedom of best subset selection in a restricted setting (orthogonal predictor variables). Along the way, we develop a concept that we name "search degrees of freedom"; intuitively, for adaptive regression procedures that perform variable selection, this is a part of the (total) degrees of freedom that we attribute entirely to the model selection mechanism. Finally, we establish a modest extension of Stein's formula to cover discontinuous functions, and discuss its potential role in degrees of freedom and search degrees of freedom calculations.

研究の動機と目的

• 過剰適合に関する直感的期待がまだ厳密に確立されていないベストサブセット選択の自由度を形式的に特徴づけること。
• 「探索自由度」という概念を導入・形式化すること——これは、適応的回帰におけるモデル選択メカニズムに起因する自由度の一部を表す。
• 不連続関数をカバーできるようにスティーンの公式を拡張し、非滑らかで適応的な手順（例：ベストサブセット選択）における自由度の計算を可能にすること。
• ベストサブセット選択における自由度の挙動と、ラッソにおける自由度の挙動を対比すること——ラッソでは自由度が選択された変数の期待値に等しくなるが、ベストサブセット選択ではそうではない。

提案手法

• 不連続関数へのスティーンの公式の新規拡張を用いて、直交予測変数のもとでのベストサブセット選択の自由度の正確な表現を導出する。
• モデル選択プロセスに起因する自由度の成分として「探索自由度」という概念を導入する。
• 積分による部分積分と条件付き期待値の技法を用いて、ベストサブセット選択における選択メカニズムの非滑らかさを扱う。
• 拡張されたスティーンの公式を適用し、適合値が応答変数の変化に対してどれほど感度を持つかの期待値を計算することで、自由度を直接得る。
• 直交予測変数をもつベストサブセット選択において、自由度が選択された変数の数を上回ることを確立する——これは、モデル空間における適応的探索に起因する。
• 導出結果を既知のラッソの自由度の公式と比較し、選択コストを相殺する役割を果たす$ abla_1$の縮小効果の重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 サブセットサイズ$k$のベストサブセット選択は、自由度が$k$より厳密に大きいと予想されるが、その差はどの程度か？
• RQ2 適応的回帰手順における、モデル選択メカニズムが全自由度に与える正確な寄与は何か？
• RQ3 スティーンの公式は、ベストサブセット選択のようなモデル選択手順で生じる不連続関数を扱えるように、どのように拡張できるか？
• RQ4 なぜラッソでは自由度が選択された変数の期待値に等しくなるのに対し、ベストサブセット選択ではそうならないのか？
• RQ5 「探索自由度」という概念は、変数選択のコストを推定とは分離して形式的に定義・定量化できるか？

主な発見

• 直交予測変数のもとでのベストサブセット選択において、自由度は選択された変数の数$k$より厳密に大きい——これは適応的選択プロセスに起因する。
• 本論文は、直交設計のもとでのベストサブセット選択の自由度について、正確な解析的表現を導出し、それが$k$を上回ることを確認した。
• 「探索自由度」という概念が形式的に導入・定量化され、推定とは独立してモデル探索の有効コストを表す。
• 拡張されたスティーンの公式により、非滑らかで不連続な手順（例：ベストサブセット選択）における自由度の計算が可能になった。
• ベストサブセット選択とは異なり、ラッソの自由度は選択された変数の期待値に等しい——これは$ abla_1$の縮小効果によるものである。
• 結果として、ベストサブセット選択におけるモデル探索のコストは非自明であり、モデル比較やリスク推定において明示的に考慮しなければならないことが示された。