[論文レビュー] Models as Approximations, Part I: A Conspiracy of Nonlinearity and Random Regressors in Linear Regression

Andreas Buja, Richard A. Berk+6 more|arXiv (Cornell University)|Apr 6, 2014

Advanced Statistical Methods and Models参考文献 33被引用数 17

ひとこと要約

この論文は、線形回帰モデルが非線形性および確率的回帰変数に対して本質的に感受性を示すことを示しており、固定で付随的な共変量であるという仮定に疑問を呈している。標準誤差はモデルに頑健である必要があり、異分散性および非線形性に整合する推定法（例えば、サンドイッチ推定量やxyブートストラップ）を用いるべきであると主張する。これは、従来の標準誤差がモデルの不適合下で真の標本変動と任意に乖離する可能性があるためである。

ABSTRACT

In the early 1980s Halbert White inaugurated a model-robust'' form of statistical inference based on the estimator'' of standard error. This estimator is known to be heteroskedasticity-consistent, but it is less well-known to be nonlinearity-consistent'' as well. Nonlinearity, however, raises fundamental issues because in its presence regressors are not ancillary, hence can't be treated as fixed. The consequences are deep: (1)~population slopes need to be re-interpreted as statistical functionals obtained from OLS fits to largely arbitrary joint $\xy$~distributions; (2)~the meaning of slope parameters needs to be rethought; (3)~the regressor distribution affects the slope parameters; (4)~randomness of the regressors becomes a source of sampling variability in slope estimates; (5)~inference needs to be based on model-robust standard errors, including sandwich estimators or the $\xy$~bootstrap. In theory, model-robust and model-trusting standard errors can deviate by arbitrary magnitudes either way. In practice, significant deviations between them can be detected with a diagnostic test.

研究の動機と目的

• 線形モデルにおける回帰変数が固定で付随的であるという従来の仮定に挑戦すること、特に非線形性の下での状況を想定する。
• 回帰変数の確率的性質と非線形性がOLSにおける回帰係数の解釈を根本的に変えることの解明。
• モデルに依存する標準誤差が任意にバイアスを受ける可能性があることの主張から、モデルに頑健な代替手法の必要性を示すこと。
• 実務における妥当な統計的推論のためには、非線形性に整合する推論が不可欠であることを確立すること。

提案手法

• 回帰変数を固定定数ではなく確率変数として扱うことで、非線形性の影響を導出する。
• 母集団回帰係数を、構造的パrameterではなくXとYの連関分布の統計的関数として再解釈する。
• 異分散性および非線形性を補正するため、サンドイッチ推定量（Huber-White標準誤差）を適用する。
• XとYを同時に再サンプリングするxyブートストラップを用い、確率的回帰変数によって誘発される標本変動を捉える。
• 従来の標準誤差が真の変動と任意に乖離する可能性があるため、モデルに頑健な標準誤差が不可欠であることを示す。
• モデルに依存する標準誤差とモデルに頑健な標準誤差の間の顕著な乖離を検出する診断検定を提案する。

実験結果

リサーチクエスチョン

• RQ1 回帰変数が固定ではなく確率的である場合、非線形性がOLS回帰係数の解釈にどのように影響を与えるか？
• RQ2 非線形性および確率的回帰変数が存在する状況で、従来の標準誤差がどれほど誤解を招く可能性があるか？
• RQ3 サンドイッチ推定量のようなモデルに頑健な標準誤差は、モデルの不適合下でも標本変動を一貫して推定できるか？
• RQ4 XとYの連関分布が線形回帰における推定係数に及ぼす影響は何か？
• RQ5 モデルに依存する標準誤差とモデルに頑健な標準誤差との差が顕著に異なる場合、どのようにしてその差を検出できるか？

主な発見

• 線形回帰における母集団回帰係数は、構造的パrameterではなくXとYの連関分布の統計的関数として再解釈されるべきである。
• 回帰変数の確率的性質は、回帰係数推定量における追加の標本変動をもたらし、これはXが固定であると仮定する標準誤差では捉えられない。
• サンドイッチ推定量やxyブートストラップなどのモデルに頑健な標準誤差が不可欠である。なぜなら、非線形性下で従来の標準誤差は真の標本変動と任意に乖離する可能性があるからである。
• モデルに依存する標準誤差とモデルに頑健な標準誤差の差は、大きさおよび符号の面で任意に大きくなり得るため、従来の推論は無効化される。
• モデルに依存する標準誤差とモデルに頑健な標準誤差の顕著な乖離を検出する診断検定が存在し、これにより研究者が従来の推論の信頼性を評価できる。