[論文レビュー] A rigorous introduction to linear models

Jun Lu|arXiv (Cornell University)|May 10, 2021

Imbalanced Data Classification Techniques参考文献 2被引用数 6

ひとこと要約

この論文は、線形モデルの厳密で自己完結的な入門を提供し、基礎的な理論、最小二乗推定、ガウスノイズ下での分布的性質に重点を置いている。ガウス＝マルコフの定理を用いて最小二乗推定量の最適性を確立し、形式的証明と幾何的解釈を通じて、古典的線形モデルとベイズ的手法、ガウス過程を結びつける。

ABSTRACT

This book is meant to provide an introduction to linear models and the theories behind them. Our goal is to give a rigorous introduction to the readers with prior exposure to ordinary least squares. In machine learning, the output is usually a nonlinear function of the input. Deep learning even aims to find a nonlinear dependence with many layers, which require a large amount of computation. However, most of these algorithms build upon simple linear models. We then describe linear models from different perspectives and find the properties and theories behind the models. The linear model is the main technique in regression problems, and the primary tool for it is the least squares approximation, which minimizes a sum of squared errors. This is a natural choice when we're interested in finding the regression function which minimizes the corresponding expected squared error. This book is primarily a summary of purpose, significance of important theories behind linear models, e.g., distribution theory and the minimum variance estimator. We first describe ordinary least squares from three different points of view, upon which we disturb the model with random noise and Gaussian noise. Through Gaussian noise, the model gives rise to the likelihood so that we introduce a maximum likelihood estimator. It also develops some distribution theories via this Gaussian disturbance. The distribution theory of least squares will help us answer various questions and introduce related applications. We then prove least squares is the best unbiased linear model in the sense of mean squared error, and most importantly, it actually approaches the theoretical limit. We end up with linear models with the Bayesian approach and beyond.

研究の動機と目的

• 通常の最小二乗法に精通している前提で、線形モデルの数学的厳密な基礎を提供すること。
• 微分積分、代数、幾何、分解法の複数の視点から、最小二乗の統一的取り扱いを形式的証明によって実現すること。
• ガウスノイズ下での主要な分布的結果を導出すること。これには、標本分布と漸近的性質が含まれる。
• 最小二乗推定量が最良線形不偏推定量（BLUE）および最小分散不偏推定量（MVUE）としての最適性を確立すること。
• フレームワークをベイズ線形モデルおよびガウス過程回帰に拡張し、理論的接続と予測分布を示すこと。

提案手法

• 微分積分（二乗誤差の和を最小化する）、代数（線形代数の基本定理の使用）、ヒルベルト空間における直交射影の3つのアプローチを用いて、最小二乗解を導出する。
• QR分解、UTV分解、特異値分解（SVD）を用いて、フルランクおよびランク不足の設計行列に対し、安定的かつ数値的に頑健な解を計算する。
• 対称かつ冪等行列の理論を用いて、最小二乗推定における射影行列の性質を特徴付ける。
• コクランの定理と疑似逆行列のスペクトル分解を用いて、一般化逆行列の文脈におけるランクと零空間の同値性を証明する。
• ガウスノイズ下での最小二乗推定量の標本分布を導出し、検定統計量のカイ二乗分布、t分布、F分布を確立する。
• 共役事前分布（ゼルナーのg-prior、準共役、完全共役）を用いたベイズ的アプローチを導入し、カーネルに基づく定式化を通じてガウス過程回帰と接続する。

実験結果

リサーチクエスチョン

• RQ1 最小二乗推定の理論的基盤は何か？ そして、代数的、幾何的、確率的視点をどのように統合するか？
• RQ2 最小二乗推定量はどのような条件下で、すべての線形不偏推定量の中で最小分散を達成するのか？ その最適性を保証する条件は何か？
• RQ3 ガウスノイズ下で、最小二乗推定量および残差平方和の正確な標本分布は何か？ それらはどのように推論を支援するか？
• RQ4 ベイズ枠組みを線形モデルに体系的に適用する方法は何か？ また、ガウス過程回帰とはどのような理論的接続があるか？
• RQ5 モーメントおよび高次モーメントの仮定のもとで、OLS推定量の大標本的性質（一致性および漸近正規性）は何か？

主な発見

• ガウス＝マルコフの条件下で、最小二乗推定量が最良線形不偏推定量（BLUE）であることが証明され、すべての線形不偏推定量の中で平均二乗誤差を最小化することが示された。
• ガウスノイズ下では、最小二乗推定量の標本分布は多変量正規分布に従い、残差平方和はカイ二乗分布に従う。これにより、t検定およびF検定による正確な推論が可能になる。
• スペクトル分解を用いて、設計行列とその疑似逆行列のランクが等しいことが示された。また、疑似逆行列の零空間は、設計行列の転置の零空間と一致する。
• 設計行列の行空間は、そのムーア＝ペネロープ逆行列の列空間と同型であり、列空間への直交射影は、行空間に属する係数ベクトルを保存する。
• 平均ゼロの正規事前分布を用いたベイズ線形モデルは、カーネル関数を設計行列から導出することで、ガウス過程と等価な予測分布をもたらす。
• ゼルナーのg-priorと経験ベイズアプローチの関係が形式化され、周辺尤度の最大化を通じて変数選択と縮小が可能になった。