[論文レビュー] Testing in the Presence of Nuisance Parameters: Some Comments on Tests Post-Model-Selection and Random Critical Values

Hannes Leeb, Benedikt M. Pötscher|Munich Personal RePEc Archive (Ludwig Maximilian University of Munich)|Sep 20, 2012

Statistical Methods and Inference被引用数 4

ひとこと要約

この論文は、不確実パラメータが存在する際の仮説検定におけるランダムな臨界値の使用を批判し、このような検定がしばしば名目水準を超えること、すなわち漸近的にでさえもサイズの過大評価を起こすことを示している。直観的には妥当に思えるが、推定された不確実パラメータを臨界値として使用する手続きは、正しいサイズを維持できないことが明らかになり、代わりに有効な推論を保証するための保守的で、上限に基づく臨界値の使用を提唱している。

ABSTRACT

We point out that the ideas underlying some test procedures recently proposed for testing post-model-selection (and for some other test problems) in the econometrics literature have been around for quite some time in the statistics literature. We also sharpen some of these results in the statistics literature. Furthermore, we show that some intuitively appealing testing procedures, that have found their way into the econometrics literature, lead to tests that do not have desirable size properties, not even asymptotically.

研究の動機と目的

• 推定された不確実パラメータから導かれるランダム臨界値を使用する検定手順の欠陥を特定・分析すること。
• このような検定が、漸近的にでさえも名目水準を厳密に超えるサイズを示すことを実証すること。
• 最近の経済計量学的提案におけるモデル選択後の検定の背後にあるアイデアが、もはや新規ではなく、かつて統計学の文献で既に確立されていたことを明確にすること。
• 特に非正規推定設定下における不確実パラメータの存在下でのサイズ制御に関するより鋭い理論的結果を提供すること。
• ランダム臨界値検定と、正しいサイズを維持する保守的で上限に基づく代替手法との性能を比較すること。

提案手法

• 検定統計量の帰無分布が未知の不確実パラメータ β に依存する枠組みを採用し、この依存性を反映する臨界値の必要性を提示する。
• 上限に基づく臨界値の使用を提唱する：$ c_{n,\text{sup}}(\delta) = \sup_{\beta \in B} c_{n,\beta}(\delta) $、これにより検定のサイズが ≤ δ となることが保証される。
• 推定値 $ \hat{\beta}_n $ を用いたランダム臨界値 $ c_{n,\hat{\beta}_n}(\delta) $ のサイズ特性を分析する。
• もし最悪の β において $ c_{n,\hat{\beta}_n}(\delta) < c_{n,\text{sup}}(\delta) $ が正の確率で成立するならば、その検定のサイズは δ を超えることを示す形式的証明を用いる。
• 既知の分散と相関するパラメータを有する線形回帰モデルにこの結果を適用し、漸近正規近似を用いて臨界値の明示的表現を導出する。
• データに依存する閾値 $ \eta_n \to 0 $ を用いた修正手続きを検討し、漸近的にサイズ制御は達成されるが、適切に構築されない限り、有限標本におけるサイズの過大評価が持続することを示す。

実験結果

リサーチクエスチョン

• RQ1 推定された不確実パラメータから導かれるランダム臨界値を使用する検定手順は、有限標本においても名目水準を維持するか？
• RQ2 なぜ直観的に魅力的な推定不確実パラメータを用いた検定が、漸近的にでもサイズを制御できないのか？
• RQ3 不確実パラメータが存在する状況で上限に基づく臨界値を使用する理論的根拠は何か？
• RQ4 ランダム臨界値検定のサイズ特性は、保守的で固定された臨界値検定と比べてどう異なるか？
• RQ5 ランダム臨界値に対するデータに依存する調整は、有限標本において正しいサイズ制御を回復できるか？

主な発見

• ランダム臨界値 $ c_{n,\hat{\beta}_n}(\delta) $ を用いた検定は、名目水準 δ の検定ではない。これは、漸近的にでもサイズが δ を厳密に超えることがある。
• 条件 (4) — すなわち $ P_{n,\alpha_0,\beta_n^{\max}}(c_{n,\hat{\beta}_n}(\delta) < T_n(\alpha_0) \leq c_{n,\text{sup}}(\delta)) > 0 $ — がサイズの過大評価を示すのに十分であり、この条件は通常の条件下で成立する。
• 上限に基づく臨界値 $ c_{n,\text{sup}}(\delta) $ は、有効な水準 δ の検定を保証するが、保守的であるがゆえに検出力が低下する。
• $ \eta_n \to 0 $ でさえも、$ \hat{c}_{n,\eta_n,\min}(\delta) $ を用いた検定は、すべての有限 n に対して名目水準を超えるが、漸近的には保守的検定に近づく。
• データに依存する閾値を用いる $ c_{n,\eta_n,\text{Loh}}(\delta) $ を用いた検定は、各 n に対して正しいサイズを維持し、$ \eta_n \to 0 $ のとき保守的検定に近づくため、他の代替手法よりも好ましい。
• ランダム臨界値が無効な検定をもたらすという結果は、かつて統計学の文献（例：Loh, 1985）で既に確立されていたが、本論文は、モデル選択後の推論という文脈において、これらの知見を鋭くした。