[論文レビュー] The distribution of a linear predictor after model selection: Unconditional finite-sample distributions and asymptotic approximations

Hannes Leeb|RePEc: Research Papers in Economics|Nov 7, 2006

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、線形回帰におけるデータ駆動型モデル選択後の線形予測子の正確な有限標本分布を導出し、計算可能な累積分布関数（cdf）とより単純な漸近的近似を提供する。主な貢献は、局所代替仮説下でのこの分布の弱収束の特徴付けであり、非一様収束を示し、すべての可能な蓄積点を同定することで、標準正規分布を超える著しい歪みがモデル選択によって生じることを明らかにする。

ABSTRACT

We analyze the (unconditional) distribution of a linear predictor that is constructed after a data-driven model selection step in a linear regression model. First, we derive the exact finite-sample cumulative distribution function (cdf) of the linear predictor, and a simple approximation to this (complicated) cdf. We then analyze the large-sample limit behavior of these cdfs, in the fixed-parameter case and under local alternatives.

研究の動機と目的

• 線形回帰におけるモデル選択後の線形予測子の正確な有限標本累積分布関数（cdf）を導出すること。
• 複雑な有限標本cdfに対する単純で一様な漸近的近似を構築すること。
• 固定パラメータおよび局所代替仮説下での、周辺cdfの大標本極限挙動を分析すること。
• 特に局所代替仮説下で、パrameter列に沿ったモデル選択後cdfのすべての弱収束点を特徴付けること。
• 特に局所パrameter列下で、有限標本および大標本におけるモデル選択確率の挙動を調査すること。

提案手法

• 正規線形モデルにおけるモデル選択後の線形予測子の正確な有限標本cdf、$ G_{n,\theta,\sigma}(t) $ を導出する。
• 解析を簡素化し、漸近的近似を可能にするために、誤差分散 $ \sigma^2 $ が既知であると仮定した「理想化された」cdf $ G^*_{n,\theta,\sigma}(t) $ を導入する。
• 逐次仮説検定に基づく「一般から特定へ」のモデル選択手順を用いて、候補モデルを特定する。
• 弱収束理論を用いて、特に局所代替仮説下で、パrameter列 $ \theta(n), \sigma(n) $ 沿いの $ G_{n,\theta(n),\sigma(n)}(t) $ の蓄積点を特徴付ける。
• モデル選択確率および条件付きcdfの展開を用いて、周辺cdfの漸近的極限を導出する。
• Leeb [1] および Leeb & Pötscher [3,4] の結果に依拠し、収束性および極限挙動の非一様性を確立する。

実験結果

リサーチクエスチョン

• RQ1 正規誤差をもつ線形回帰モデルにおけるモデル選択後の線形予測子の正確な有限標本分布は何か？
• RQ2 モデル選択の影響により、モデル選択後の推定子の周辺分布は標準正規分布とどのように異なるか？
• RQ3 局所代替仮説下での周辺cdfの漸近的挙動は何か？固定パラメータの場合とどのように異なるか？
• RQ4 パrameter列 $ \theta(n), \sigma(n) $ 沿いのモデル選択後cdfのすべての可能な弱収束点は何か？
• RQ5 特に局所代替仮説下で、モデル選択確率はどのように漸近的に振る舞うか？

主な発見

• 正確な有限標本cdf $ G_{n,\theta,\sigma}(t) $ は閉形式で導出可能であるが、複雑であり、モデル選択経路に依存する。
• 既知の $ \sigma^2 $ を仮定した漸近的近似 $ G^*_{n,\theta,\sigma}(t) $ は、大標本では $ G_{n,\theta,\sigma}(t) $ に一様に近い。
• 周辺cdfは、その大標本極限への非一様収束を示し、パrameter列に沿った分析が不可欠である。
• すべての弱収束点が同定され、局所代替仮説がすべての可能な極限を捉えるのに十分であることが示された。
• 極限分布は、漸近的モデル選択確率で重み付けられた条件付きcdfの凸結合であり、$ \theta_{p^*} $ が無限大であっても非退化な極限を持つ。
• 式 (5.1) の極限cdfは、正規分布および非正規分布成分の混合であり、モデル選択が推論に与える影響を反映している。