[论文解读] Model-free Study of Ordinary Least Squares Linear Regression

Arun Kumar Kuchibhotla, Lawrence D. Brown+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Statistical Methods and Models参考文献 15被引用 8

一句话总结

本文提出了一种无模型的、'自上而下'的普通最小二乘法（OLS）线性回归分析，表明OLS在极简假设下依然有效——具体而言，即对协变量和响应变量的二阶矩满足大数定律（LLN）和中心极限定理（CLT）。关键贡献在于，在这些条件下，即使真实模型存在误设，OLS仍保持半参数效率，且通过渐近正态性和一致的方差估计可实现有效的统计推断。

ABSTRACT

Ordinary least squares (OLS) linear regression is one of the most basic statistical techniques for data analysis. In the main stream literature and the statistical education, the study of linear regression is typically restricted to the case where the covariates are fixed, errors are mean zero Gaussians with variance independent of the (fixed) covariates. Even though OLS has been studied under misspecification from as early as the 1960's, the implications have not yet caught up with the main stream literature and applied sciences. The present article is an attempt at a unified viewpoint that makes the various implications of misspecification stand out.

研究动机与目标

• 通过从估计量出发而非从参数模型假设出发，重新构想OLS回归。
• 识别OLS具有明确定义的目标并允许有效统计推断的最小条件。
• 通过将固定值视为退化分布，统一处理固定与随机协变量的分析。
• 证明即使在模型误设情况下，OLS仍保持半参数效率。
• 提供一种基于渐近方差估计和自助法的推断框架，无需假设i.i.d.或高斯误差。

提出的方法

• 提出一种'自上而下'的分析方法，将估计目标定义为OLS过程的内在属性，而非预设一个既存的真实模型。
• 使用正规方程的估计方程，并对协变量和响应变量的样本矩应用LLN和CLT。
• 将OLS估计量定义为经验均值的函数：$ \hat{\beta}_n = \left(\frac{1}{n}\sum X_iX_i^T\right)^{-1}\left(\frac{1}{n}\sum X_iY_i\right) $，在LLN下实现收敛。
• 通过Lindeberg-Feller CLT推导$ \sqrt{n}(\hat{\beta}_n - \beta_n) $的渐近正态性，假设弱依赖性和矩条件。
• 通过推导其影响函数并证明其达到Cramér-Rao下界，确立OLS估计量的半参数效率。
• 提供渐近方差估计和基于自助法的推断理论，适用于如混合或马氏过程等一般依赖结构。

实验结果

研究问题

• RQ1 在何种最小假设下，OLS估计量具有明确定义的目标并允许有效推断？
• RQ2 是否可以在不假设线性关系或高斯误差的情况下，证明OLS在真实模型误设时仍具有效率？
• RQ3 在强混合或马氏链等依赖结构下，如何在不假设i.i.d.条件时进行推断？
• RQ4 在一般矩条件和弱依赖下，OLS估计量的渐近分布为何？
• RQ5 是否可以在不假设同方差性或独立性的情况下，构建一致的方差估计和有效的置信区间？

主要发现

• 在极简条件下，即协变量和响应变量的二阶矩满足大数定律和中心极限定理，OLS估计量具有半参数效率。
• OLS估计量达到目标$ \beta_n $的Cramér-Rao下界，其中$ \beta_n $被定义为涉及经验矩的估计方程的解。
• $ \sqrt{n}(\hat{\beta}_n - \beta_n) $的渐近分布为均值为零、协方差矩阵为$ \Sigma_n^{-1} \mathbb{E}[X_iX_i^T(Y_i - X_i^T\beta_n)^2] \Sigma_n^{-1} $的正态分布，该结果由影响函数推导得出。
• OLS的影响函数为$ \Sigma_n^{-1}X_i(Y_i - X_i^T\beta_n) $，且OLS估计量达到此形式，从而确认其效率。
• 在弱依赖结构（如强混合或马氏链）下，渐近方差估计和基于自助法的推断均有效，无需假设i.i.d.或同方差误差。
• 该框架通过将固定值视为退化分布，统一了固定与随机协变量的处理，实现了单一理论框架。