[論文レビュー] The Conspiracy of Random Predictors and Model Violations against Classical Inference in Regression

Andreas Buja, Richard A. Berk+6 more|arXiv (Cornell University)|Apr 6, 2014

Statistical Methods and Inference参考文献 30被引用数 8

ひとこと要約

この論文は、線形回帰におけるハルバート・ホワイトのロバスト推論フレームワークを再評価し、モデル不適合および確率的予測変数の下で、標準誤差の'サンデイッチ推定子'が依然として有効であることを示している。これら2つの要因が組み合わさることで、古典的推論が根底から揺るがされる『陰謀』を形成する。サンデイッチ推定子は、しばしば過大に自由な古典的標準誤差を上回り、ペアブートストラップがモデルの正しさや予測変数の固定を仮定する古典的仮定に反する有効な代替手法であることが示された。

ABSTRACT

We review the early insights of Halbert White who over thirty years ago inaugurated a form of statistical inference for regression models that is asymptotically correct even under “model misspecification. ” This form of inference, which is pervasive in econometrics, relies on the “sandwich estimator ” or “heteroskedasticity-consistent estimator ” of standard error. Whereas common practice in statistics assumes models to be correct and inference to be conditional on the predictors, White permits models to be “incorrect ” and predictors to be random. Careful reading of his theory shows that it is in fact a synergistic effect — a “conspiracy ” — of model misspecification and randomness of the predictors that has the deepest consequences for statistical inference. In this review we limit ourselves to linear least squares regression as the demonstration object, but the qualitative insights hold for all forms of regression. We will see that the term “heteroskedasticity-consistent estimator ” is misleading because nonlinearity is a more consequential form of model deviation than heteroskedasticity, and both forms are handled asymptotically correctly by the sandwich estimator. The same analysis shows that a valid alternative to the sandwich estimator is provided by the “pairs bootstrap. ” We continue with a novel asymptotic comparison of the sandwich estimator and the standard error estimator from classical linear models theory. The comparison shows that when standard errors from linear models theory deviate from their sandwich analogs, they are usually too liberal, but occasionally they can be too conservative as well. We conclude by answering questions that would occur to statisticians acculturated to the assumption of model correctness and conditionality on the predictors: (1) Why should we be interested in inference for models that are not correct? (2) What are the arguments for conditioning on predictors, and why might they not be valid?

研究の動機と目的

• モデル不適合および確率的予測変数の文脈において、ホワイトの異分散性に強い標準誤差推定子の理論的基盤を再表現・明確化すること。
• 回帰モデルが正しく指定されている必要があり、予測変数が固定されているという従来の仮定に反論し、ロバスト推論の適用範囲を広げることを主張すること。
• 漸近的条件下でサンデイッチ推定子と古典的標準誤差を比較し、後者の系統的バイアスを明らかにすること。
• モデル違反下でのサンデイッチ推定子に対するペアブートストラップの有効性を評価すること。
• ロバスト推論の観点から、モデルの正しさや予測変数の条件付き仮定に関する基礎的問いに答えること。

提案手法

• モデル不適合および確率的予測変数の下で線形最小二乗回帰に漸近的理論を適用し、ホワイトの元来の枠組みを拡張する。
• モデル違反下でのロバスト推論の主な手法として、サンデイッチ推定子（異分散性に強い標準誤差推定子）を用いる。
• 古典的標準誤差（線形モデル理論からのもの）とサンデイッチ標準誤差の漸近的比較を行い、バイアスを評価する。
• ペアブートストラップをロバスト推論の代替手法として用い、サンデイッチ推定子と同様の条件下で有効であることを示す。
• モデル不適合と確率的予測変数の相乗効果が統計的推論の有効性に与える影響を分析する。
• ホワイトの元来の洞察を活用し、サンデイッチ推定子の役割を異分散性の超え、非線形性がより重要なモデル逸脱の形であると強調して再解釈する。

実験結果

リサーチクエスチョン

• RQ1 モデルが不適合であり、予測変数が確率的である場合、なぜ古典的推論が失敗するのか。ロバスト推論手法はその問題をどのように解決するのか。
• RQ2 なぜサンデイッチ推定子はモデル不適合および確率的予測変数の下でも有効を保つのか。その理論的根拠は何か。
• RQ3 古典的標準誤差（線形モデル理論からのもの）は、サンデイッチ推定子と比べてどのような点で系統的にバイアスを示すのか。
• RQ4 モデル違反および確率的予測変数の下で、ペアブートストラップはサンデイッチ推定子の有効な代替手段となり得るか。
• RQ5 モデルの正しさや予測変数の固定を仮定するという仮定を放棄するための哲学的・統計的根拠は何か。

主な発見

• サンデイッチ推定子は、異分散性を超えて非線形的不適合の下でも漸近的に有効であり、これはそれが異分散性に特化したものではないという考えを覆す。
• モデル不適合と確率的予測変数の相乗効果—いわゆる『陰謀』—は、単独での影響よりも、古典的推論をより深刻に損なう。
• 古典的標準誤差は、通常、サンデイッチ標準誤差に比べて過大に自由であるが、まれに過小に保守的になることもある。
• ペアブートストラップは、モデル違反および確率的予測変数の下で、サンデイッチ推定子の有効な代替手段を提供し、非漸近的アプローチを可能にする。
• モデルの正しさを仮定し、予測変数を固定するという仮定は、普遍的に正当化できるものではなく、実務において誤った推論を招く可能性がある。
• 本論文は、回帰分析において古典的推論からロバスト手法への移行を理論的に正当化する根拠を提示した。