[论文解读] A Model Free Perspective for Linear Regression: Uniform-in-model Bounds for Post Selection Inference

Arun Kumar Kuchibhotla, Lawrence D. Brown+3 more|arXiv (Cornell University)|Feb 15, 2018

Statistical Methods and Inference参考文献 1被引用 15

一句话总结

本文在无需分布假设的前提下，利用确定性不等式，为模型选择后的线性回归估计量建立了关于模型一致的界。它提供了非渐近、模型无关的误差和表示界，适用于多个变量子集，使得在独立和依赖数据下均可实现有效的后模型选择推断。

ABSTRACT

For the last two decades, high-dimensional data and methods have proliferated throughout the literature. The classical technique of linear regression, however, has not lost its touch in applications. Most high-dimensional estimation techniques can be seen as variable selection tools which lead to a smaller set of variables where classical linear regression technique applies. In this paper, we prove estimation error and linear representation bounds for the linear regression estimator uniformly over (many) subsets of variables. Based on deterministic inequalities, our results provide good rates when applied to both independent and dependent data. These results are useful in correctly interpreting the linear regression estimator obtained after exploring the data and also in post model-selection inference. All the results are derived under no model assumptions and are non-asymptotic in nature.

研究动机与目标

• 为解决高维线性回归中后模型选择推断的挑战，且不依赖于模型假设。
• 推导在多个变量子集上一致的非渐近误差和表示界。
• 在预测变量存在依赖关系时，仍能实现可靠的数据驱动变量选择后的推断。
• 为在探索性数据分析后解释线性回归估计量提供一个框架，且无需参数或渐近假设。

提出的方法

• 利用确定性不等式，统一推导变量子集上估计误差和线性表示的界。
• 应用非渐近分析，确保结果在任意样本大小下均有效。
• 推导出无模型的界，对误差或设计矩阵的分布无任何假设。
• 通过在变量子集上统一控制，处理独立和依赖的数据结构。
• 构建的界在任何数据驱动的模型选择程序之后均有效。
• 基于对一大类模型的统一收敛性论证，确保方法的稳健性。

实验结果

研究问题

• RQ1 如何在不假设特定模型的前提下，为模型选择后的线性回归估计量提供一致的非渐近界？
• RQ2 当模型基于数据选择时，回归估计量的误差和表示界是什么？这些界如何在多个子集上保持一致？
• RQ3 是否可以在不对误差或设计矩阵做分布假设的前提下，实现有效的后模型选择推断？
• RQ4 当协变量或误差存在依赖关系时，这些界的行为如何？
• RQ5 在最小假设下，后模型选择设定中估计误差的收敛速率是多少？

主要发现

• 本文建立了在多个变量子集上一致的非渐近、无模型的估计误差和线性表示界。
• 这些界对独立和依赖数据均有效，具有广泛适用性。
• 所有结果均基于确定性不等式推导，避免依赖于概率或渐近近似。
• 该框架支持正确的后模型选择推断，且无需对误差或设计矩阵做分布假设。
• 界足够紧致，可在数据探索后实际用于解释回归估计量。
• 该方法即使在通过数据驱动变量选择程序选择模型时，也能实现可靠的推断。