[论文解读] A rigorous introduction to linear models

Jun Lu|arXiv (Cornell University)|May 10, 2021

Imbalanced Data Classification Techniques参考文献 2被引用 6

一句话总结

本文提供了线性模型的严格、自包含的导论，强调基础理论、最小二乘估计以及在高斯噪声下的分布性质。通过高斯-马尔可夫定理建立了最小二乘估计量的最优性，并通过形式化证明和几何解释，将经典线性模型与贝叶斯方法及高斯过程联系起来。

ABSTRACT

This book is meant to provide an introduction to linear models and the theories behind them. Our goal is to give a rigorous introduction to the readers with prior exposure to ordinary least squares. In machine learning, the output is usually a nonlinear function of the input. Deep learning even aims to find a nonlinear dependence with many layers, which require a large amount of computation. However, most of these algorithms build upon simple linear models. We then describe linear models from different perspectives and find the properties and theories behind the models. The linear model is the main technique in regression problems, and the primary tool for it is the least squares approximation, which minimizes a sum of squared errors. This is a natural choice when we're interested in finding the regression function which minimizes the corresponding expected squared error. This book is primarily a summary of purpose, significance of important theories behind linear models, e.g., distribution theory and the minimum variance estimator. We first describe ordinary least squares from three different points of view, upon which we disturb the model with random noise and Gaussian noise. Through Gaussian noise, the model gives rise to the likelihood so that we introduce a maximum likelihood estimator. It also develops some distribution theories via this Gaussian disturbance. The distribution theory of least squares will help us answer various questions and introduce related applications. We then prove least squares is the best unbiased linear model in the sense of mean squared error, and most importantly, it actually approaches the theoretical limit. We end up with linear models with the Bayesian approach and beyond.

研究动机与目标

• 为线性模型提供数学上严格的理论基础，假设读者已熟悉普通最小二乘法。
• 通过形式化证明，统一最小二乘法的多种视角——微积分、代数、几何和分解方法。
• 在高斯噪声下推导关键的分布结果，包括抽样分布和渐近性质。
• 通过高斯-马尔可夫定理确立最小二乘估计量作为最佳线性无偏估计量（BLUE）和最小方差无偏估计量（MVUE）的最优性。
• 将框架扩展至贝叶斯线性模型和高斯过程回归，展示理论联系及预测分布。

提出的方法

• 通过三种方法推导最小二乘解：微积分（最小化平方误差和）、代数（利用线性代数基本定理）以及希尔伯特空间中的正交投影。
• 采用矩阵分解方法——QR、UTV 和 SVD——以处理满秩和秩亏的设计矩阵，实现稳定且数值鲁棒的解。
• 应用对称与幂等矩阵理论，刻画最小二乘估计中投影矩阵及其性质。
• 利用科奇伦定理和伪逆的谱分解，证明广义逆背景下秩与零空间的等价性。
• 在高斯噪声下推导最小二乘估计量的抽样分布，建立检验统计量的卡方、t- 和 F-分布。
• 通过共轭先验（泽勒纳的 g-先验、半共轭、全共轭）引入贝叶斯方法，并通过基于核的公式化方法将其与高斯过程回归联系起来。

实验结果

研究问题

• RQ1 最小二乘估计的理论基础是什么？它们如何统一代数、几何和概率视角？
• RQ2 最小二乘估计量如何在所有线性无偏估计量中实现最小方差？其最优性需满足什么条件？
• RQ3 在高斯噪声下，最小二乘估计量和残差平方和的精确抽样分布是什么？它们如何支持统计推断？
• RQ4 贝叶斯框架如何系统地应用于线性模型？其与高斯过程回归有何联系？
• RQ5 在矩和高阶矩假设下，OLS 估计量的大样本性质（一致性与渐近正态性）是什么？

主要发现

• 在高斯-马尔可夫条件下，最小二乘估计量被证明是最佳线性无偏估计量（BLUE），在所有线性无偏估计量中最小化均方误差。
• 在高斯噪声下，最小二乘估计量的抽样分布为多元正态分布，残差平方和服从卡方分布，从而可通过 t- 检验和 F- 检验实现精确推断。
• 通过谱分解证明，设计矩阵与其伪逆的秩相等，且伪逆的零空间与设计矩阵转置的零空间一致。
• 设计矩阵的行空间同构于其莫尔-彭罗斯逆的列空间，且对列空间的正交投影可保持系数向量在行空间中。
• 具有零均值正态先验的贝叶斯线性模型，其预测分布等价于高斯过程，核函数由设计矩阵导出。
• 正式建立了泽勒纳的 g-先验与经验贝叶斯方法之间的联系，通过边缘似然最大化实现变量选择与收缩。