[論文レビュー] Can One Estimate The Unconditional Distribution of Post-Model-Selection Estimators?

Hannes Leeb, Benedikt M. Pötscher|ArXiv.org|Apr 12, 2007

Statistical Methods and Inference被引用数 4

ひとこと要約

この論文は、後モデル選択推定量の周辺分布を、ある程度の精度で推定することは、すなわち漸近的にでさえ、根本的にな不可能であることを示している。最小上限下界が大標本で 1/2 または 1 に近づくため、いかなる推定量も一様（あるいは局所的）な一致性を達成できないことが証明されており、標準的な基準のもとでは、モデル選択後の信頼性のある推論は不可能である。

ABSTRACT

We consider the problem of estimating the unconditional distribution of a post-model-selection estimator. The notion of a post-model-selection estimator here refers to the combined procedure resulting from first selecting a model (e.g., by a model selection criterion like AIC or by a hypothesis testing procedure) and then estimating the parameters in the selected model (e.g., by least-squares or maximum likelihood), all based on the same data set. We show that it is impossible to estimate the unconditional distribution with reasonable accuracy even asymptotically. In particular, we show that no estimator for this distribution can be uniformly consistent (not even locally). This follows as a corollary to (local) minimax lower bounds on the performance of estimators for the distribution; performance is here measured by the probability that the estimation error exceeds a given threshold. These lower bounds are shown to approach 1/2 or even 1 in large samples, depending on the situation considered. Similar impossibility results are also obtained for the distribution of linear functions (e.g., predictors) of the post-model-selection estimator.

研究の動機と目的

• 後モデル選択推定量の周辺分布が一貫して推定可能かどうかを調査すること。
• データ駆動型のモデル不確実性のため、従来の統計理論が失敗するモデル選択後の推論という重要な問題に取り組むこと。
• 未知のパラメータに依存する分布の複雑な依存関係にもかかわらず、分布推定における一様または局所的一致性が達成可能かどうかを特定すること。
• 線形関数（例：予測子）を含む、後モデル選択推定量の拡張への不可能性結果を提示すること。
• 漸近的近似に基づくプラグイン推定量の妥当性に疑問を呈すること。これは、有限標本分布における非一様収束の問題を伴う可能性がある。

提案手法

• 後モデル選択推定量の周辺分布の推定量の性能に対する局所的最小上限下界を導出する。
• 推定誤差を測るための全 Variation 距離を用い、誤差がしきい値を超える確率の上限を確立する。
• Leeb と Pötscher (2006a) の漸近的一様等連続性および連接性に関する結果を応用し、収束行動を分析する。
• AIC や仮説検定などの基準に基づくモデル選択手順を想定し、その後に最小二乗法や最尤法による推定を実施する。
• 特に境界付近のケースを含む、さまざまなパラメータ設定下での後モデル選択推定量の分布を分析する。
• 推定量の線形関数（例：予測子）への分析を拡張し、同様の不可能性結果を示す。

実験結果

リサーチクエスチョン

• RQ1 後モデル選択推定量の周辺分布は、すなわち漸近的にでさえ一貫して推定可能か？
• RQ2 後モデル選択推定量の分布推定における一様または局所的一致性は達成可能か？
• RQ3 漸近的近似に基づくプラグイン推定量は、有限標本分布に内在する非一様性の問題を克服できるか？
• RQ4 このような分布推定量の推定誤差における最小上限下界は何か？
• RQ5 後モデル選択推定量の線形関数（例：予測子）に対しても同様の不可能性結果が成り立つか？

主な発見

• 後モデル選択推定量の周辺分布を推定するいかなる推定量も、一様的（あるいは局所的）に一貫することはできない。
• 推定誤差がしきい値を超える確率における最小上限下界は、大標本で 1/2 あるいは 1 に近づく。
• AIC や仮説検定などのモデル選択基準にかかわらず、この不可能性結果は成立し、根本的な制限を示している。
• 予測子などの後モデル選択推定量の線形関数の分布に対しても、同様の不可能性が成立する。
• 有限標本分布が漸近的極限に非一様に収束するため、プラグイン推定量の信頼性が損なわれる。
• これらの結果は、モデル選択後の有効な推論が、周辺標本分布の一貫した推定によって達成できないことを示唆している。