[論文レビュー] Can one estimate the conditional distribution of post-model-selection estimators?

Hannes Leeb, Benedikt M. Pötscher|RePEc: Research Papers in Economics|Feb 23, 2007

Statistical Methods and Inference被引用数 7

ひとこと要約

この論文は、AICなどのデータ駆動型基準を用いてモデル選択を行った後、その推定量の条件付き分布を、ある程度の正確さで推定することは、根本的になされないことを示している。著者らは、いかなる推定量に対しても、この分布に関して一様（あるいは局所的）な一貫性を達成できないことを証明し、一般条件下で信頼できる推定を排除する最小最大下界を確立している。

ABSTRACT

We consider the problem of estimating the conditional distribution of a post-model-selection estimator where the conditioning is on the selected model. The notion of a post-model-selection estimator here refers to the combined procedure resulting from first selecting a model (e.g., by a model selection criterion such as AIC or by a hypothesis testing procedure) and then estimating the parameters in the selected model (e.g., by least-squares or maximum likelihood), all based on the same data set. We show that it is impossible to estimate this distribution with reasonable accuracy even asymptotically. In particular, we show that no estimator for this distribution can be uniformly consistent (not even locally). This follows as a corollary to (local) minimax lower bounds on the performance of estimators for this distribution. Similar impossibility results are also obtained for the conditional distribution of linear functions (e.g., predictors) of the post-model-selection estimator.

研究の動機と目的

• post-model-selection推定量の条件付き分布が信頼性を持って推定可能かどうかを調査すること。
• 特に有限標本または大標本において、これらの分布の一貫した推定が可能かどうかを特定すること。
• post-model-selection推定量の線形関数（例：予測子）の条件付き分布の推定量の性能を検討すること。
• 最小最大理論を用いて、このような推定量の精度に関する根本的限界を確立すること。
• 有限標本における非一様収束問題を克服できるかどうかという「プラグイン」推定量やその他の推定量の問題を解決すること。

提案手法

• 最小最大下界を用いて、post-model-selection推定量の条件付き分布の推定量の性能に関する根本的限界を確立する。
• 正則性条件の下で、モデル選択と推定手順の同時分布の漸近的挙動を分析する。
• 連接性理論および全 Variation 距離における収束を応用して、条件付き分布の極限挙動を研究する。
• 既知の設計行列と i.i.d. 正規誤差を有する正規線形回帰枠組みを用いて理論的結果を導出する。
• モデル選択が AIC や仮説検定に基づくものであり、その後に最小二乗法や最尤推定が行われる状況を検討する。
• 背理法と多変量正規分布の性質を用いて、不可能性結果を証明する。特に、補題 D.3 および関連する分布的恒等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 post-model-selection推定量の条件付き分布は、漸近的にでさえ一貫して推定可能だろうか？
• RQ2 post-model-selection推定量の条件付き分布に関して、一様または局所的一致性を達成する推定量は存在するだろうか？
• RQ3 大標本近似に基づく「プラグイン」推定量は、有限標本における非一様収束問題を克服できるだろうか？
• RQ4 post-model-selection推定量の線形関数（例：予測子）の条件付き分布は、信頼性を持って推定可能だろうか？
• RQ5 データ駆動型モデル選択後の分布推定の精度に関する根本的限界は何か？

主な発見

• post-model-selection推定量の条件付き分布を推定するいかなる推定量に対しても、一様的一致性は達成できない。
• 有限標本分布の極限への収束における根本的な非一様性のため、大標本でも同様に成立する。
• 条件付き分布の推定リスクに対する最小最大下界は正であり、信頼できる推定が不可能であることを証明する。
• 同様の不可能性は、post-model-selection推定量の線形関数（例：予測子）の条件付き分布に対しても成立する。
• モデル選択が AIC、仮説検定、あるいは他のデータ駆動型基準に基づくかどうかにかかわらず、同様の結果が成り立つ。
• 一貫した推定の失敗は、未知パrameterに依存する有限標本分布の複雑で非一様な依存性に起因し、これは信頼性を持って推定できない。