[論文レビュー] Model-free Study of Ordinary Least Squares Linear Regression

Arun Kumar Kuchibhotla, Lawrence D. Brown+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Statistical Methods and Models参考文献 15被引用数 8

ひとこと要約

この論文は、通常最小二乗法（OLS）線形回帰のモデルフリーで「逆さま」の分析を提示し、OLSが最小限の仮定のもとで機能することを示している。具体的には、説明変数および応答変数の2次モーメントについての弱大数法則（LLN）と中心極限定理（CLT）が成立する条件である。主な貢献は、真のモデルが誤っている場合であっても、これらの条件下でOLSが半パラメトリックに有効であり、漸近正規性と一貫した分散推定により推論が有効であるということである。

ABSTRACT

Ordinary least squares (OLS) linear regression is one of the most basic statistical techniques for data analysis. In the main stream literature and the statistical education, the study of linear regression is typically restricted to the case where the covariates are fixed, errors are mean zero Gaussians with variance independent of the (fixed) covariates. Even though OLS has been studied under misspecification from as early as the 1960's, the implications have not yet caught up with the main stream literature and applied sciences. The present article is an attempt at a unified viewpoint that makes the various implications of misspecification stand out.

研究の動機と目的

• パラメトリックなモデル仮定ではなく、推定量から出発することでOLS回帰を再定式化すること。
• OLSが明確な標的を有し、有効な統計的推論を許容する最小限の条件を同定すること。
• 固定および確率的説明変数の取り扱いを統一するため、固定値を退化分布として扱うこと。
• 真のモデルが誤っている場合であっても、OLSが依然として半パラメトリックに有効であることを示すこと。
• i.i.d. または正規誤差の仮定を必要としない、漸近分散推定およびブートストラップを用いた推論の枠組みを提供すること。

提案手法

• 事前に存在する真のモデルを仮定するのではなく、OLS手順そのものに内在する推定の標的を定義する「逆さま」の分析を提案する。
• 正規方程式の推定量方程式を用い、説明変数および応答変数の標本モーメントにLLNとCLTを適用する。
• OLS推定量を経験的平均の関数として定義する：$ \hat{\beta}_n = \left(\frac{1}{n}\sum X_iX_i^T\right)^{-1}\left(\frac{1}{n}\sum X_iY_i\right) $、LLNのもとで収束を示す。
• 弱い依存性とモーメント条件を仮定して、Lindeberg-Feller CLTを用いて$ \sqrt{n}(\hat{\beta}_n - \beta_n) $の漸近正規性を導出する。
• 影響関数を導出し、それがCramér-Raoの下界に達することを示すことにより、OLS推定量が半パラメトリックに有効であることを確立する。
• 一般の依存構造（混合やマルコフ過程など）においても有効な漸近分散推定およびブートストラップに基づく推論の理論を提供する。

実験結果

リサーチクエスチョン

• RQ1 OLS推定量が明確な標的を有し、有効な推論を許容する最小限の仮定は何か？
• RQ2 線形性や正規誤差の仮定をせず、真のモデルが誤っている場合でもOLSが有効であることを示せるか？
• RQ3 i.i.d. の仮定を必要としない状況で、強い混合やマルコフ連鎖のような依存構造において推論をどのように行えるか？
• RQ4 一般のモーメント条件と弱い依存性のもとで、OLS推定量の漸近分布は何か？
• RQ5 均一分散や独立性の仮定をしない状況でも、一貫した分散推定および有効な信頼区間を構築できるか？

主な発見

• OLS推定量は、説明変数および応答変数の2次モーメントについての弱大数法則と中心極限定理が成り立つ最小限の条件下で、半パラメトリックに有効である。
• OLS推定量は、経験的モーメントを含む推定量方程式の解として定義される標的$ \beta_n $について、Cramér-Raoの下界に達する。
• $ \sqrt{n}(\hat{\beta}_n - \beta_n) $の漸近分布は、平均が0で分散-共分散行列が$ \Sigma_n^{-1} \mathbb{E}[X_iX_i^T(Y_i - X_i^T\beta_n)^2] \Sigma_n^{-1} $の正規分布であり、影響関数から導出される。
• OLSの影響関数は$ \Sigma_n^{-1}X_i(Y_i - X_i^T\beta_n) $であり、OLS推定量がこの形を達成することで、その有効性が確認される。
• 弱い依存性（強い混合やマルコフ過程など）のもとで、漸近分散推定およびブートストラップに基づく推論が有効であり、i.i.d. または均一分散の誤差の仮定を必要としない。
• 固定値を退化分布として扱うことで、固定および確率的説明変数を統一的に取り扱い、一様な理論的枠組みを可能にする。