[论文解读] Models as Approximations --- Part II: A General Theory of Model-Robust Regression

Andreas Buja, Richard A. Berk+4 more|arXiv (Cornell University)|Dec 10, 2016

Statistical Methods and Inference被引用 9

一句话总结

该论文提出了一种无需模型的回归框架，通过用定义在非参数联合分布类上的统计泛函替代参数模型。该框架引入了泛函的正确性概念，基于重加权的诊断工具，以及将抽样变异性分解为两个 $N^{-1/2}$ 阶分量的方法，同时表明 $\boldsymbol{xy}$ 自助法标准误通常比沙wich估计量更稳定。

ABSTRACT

We develop a model-free theory of general types of parametric for iid observations. The theory replaces the parameters of parametric models with statistical functionals, to be called regression functionals'', defined on large non-parametric classes of joint $\xy$ distributions, without assuming a correct model. Parametric models are reduced to heuristics to suggest plausible objective functions. An example of a functional is the vector of slopes of linear equations fitted by OLS to largely arbitrary $\xy$ distributions, without assuming a linear model (see Part~I). More generally, functionals can be defined by minimizing objective functions or solving estimating equations at joint $\xy$ distributions. In this framework it is possible to achieve the following: (1)~define a notion of well-specification for functionals that replaces the notion of correct specification of models, (2)~propose a well-specification diagnostic for functionals based on reweighting distributions and data, (3)~decompose sampling variability of functionals into two sources, one due to the conditional response distribution and another due to the regressor distribution interacting with misspecification, both of order $N^{-1/2}$, (4)~exhibit plug-in/sandwich estimators of standard error as limit cases of $\xy$ bootstrap estimators, and (5)~provide theoretical heuristics to indicate that $\xy$ bootstrap standard errors may generally be more stable than sandwich estimators.

研究动机与目标

• 用定义在非参数联合 $\boldsymbol{xy}$ 分布类上的统计泛函替代传统的参数模型。
• 提出一种泛函正确性的概念，该概念在不假设存在真实参数模型的前提下，推广了模型正确性的含义。
• 基于对观测数据和分布进行重加权，提供一种用于评估泛函正确性的诊断方法。
• 将泛函的抽样变异性分解为两个独立的 $N^{-1/2}$ 阶分量：一个来自条件响应分布，另一个来自回归变量分布与模型误设的相互作用。
• 表明插补法和沙wich估计量是 $\boldsymbol{xy}$ 自助法估计量的极限情况，并论证 $\boldsymbol{xy}$ 自助法标准误具有更高的稳定性。

提出的方法

• 将回归泛函定义为在任意联合 $\boldsymbol{xy}$ 分布下求解估计方程或最小化目标函数的解，而无需假设存在正确的参数模型。
• 基于泛函在使用估计条件密度对联合分布进行重加权后是否保持不变，提出一种针对泛函的正确性条件。
• 将泛函的渐近方差分解为两部分：一部分源于条件响应分布，另一部分源于回归变量分布与模型误设的相互作用。
• 构建 $\boldsymbol{xy}$ 自助法标准误估计量，并证明其在极限下收敛于插补法和沙wich估计量。
• 利用重加权技术评估泛函正确性，通过比较重加权经验分布与真实分布下泛函值的差异。
• 通过基于高阶行为和方差稳定性的理论启发，证明 $\boldsymbol{xy}$ 自助法标准误在有限样本中通常比沙wich估计量更稳定。

实验结果

研究问题

• RQ1 在不假设存在正确参数模型的前提下，如何为回归泛函定义一种模型稳健性概念？
• RQ2 在潜在模型误设的情况下，可以使用哪些诊断工具来评估泛函是否正确设定？
• RQ3 如何将泛函中的抽样变异性分解为与响应分布和回归变量分布相关的不同来源？
• RQ4 在何种意义上 $\boldsymbol{xy}$ 自助法标准误比沙wich估计量更稳定，其理论基础是什么？
• RQ5 插补法和沙wich估计量的标准误与 $\boldsymbol{xy}$ 自助法估计量的极限之间有何关系？

主要发现

• 该框架以基于重加权不变性的泛函正确性条件替代了模型正确性，实现了无需假设真实参数模型的稳健推断。
• 泛函的抽样变异性被分解为两个 $N^{-1/2}$ 阶分量：一个源于条件响应分布，另一个源于回归变量分布与误设的相互作用。
• 插补法和沙wich估计量作为 $\boldsymbol{xy}$ 自助法估计量的极限情况出现，建立了这些方法之间的理论联系。
• 理论启发表明，由于在有限样本中具有更好的方差稳定性，$\boldsymbol{xy}$ 自助法标准误通常比沙wich估计量更稳定。
• 该泛函方法使得即使在底层数据生成过程并非线性时，也能定义并分析类似OLS的估计量，从而扩展了回归推断的适用范围。
• 基于重加权的诊断方法为在有限样本中评估泛函对模型误设的稳健性提供了一种实用手段。