[논문 리뷰] A rigorous introduction to linear models

Jun Lu|arXiv (Cornell University)|2021. 05. 10.

Imbalanced Data Classification Techniques참고 문헌 2인용 수 6

한 줄 요약

이 논문은 선형 모델에 대해 엄밀하고 자율적인 소개를 제공하며, 기초 이론, 최소 제곱 추정, 가우시안 노이즈 하에서의 분포 성질에 중점을 둔다. 가우스-마르코프 정리에 의해 최소 제곱 추정량의 최적성과 함께, 고전적 선형 모델과 베이지안 방법, 가우시안 프로세스 사이의 이론적 연결을 정형 증명과 기하학적 해석을 통해 설명한다.

ABSTRACT

This book is meant to provide an introduction to linear models and the theories behind them. Our goal is to give a rigorous introduction to the readers with prior exposure to ordinary least squares. In machine learning, the output is usually a nonlinear function of the input. Deep learning even aims to find a nonlinear dependence with many layers, which require a large amount of computation. However, most of these algorithms build upon simple linear models. We then describe linear models from different perspectives and find the properties and theories behind the models. The linear model is the main technique in regression problems, and the primary tool for it is the least squares approximation, which minimizes a sum of squared errors. This is a natural choice when we're interested in finding the regression function which minimizes the corresponding expected squared error. This book is primarily a summary of purpose, significance of important theories behind linear models, e.g., distribution theory and the minimum variance estimator. We first describe ordinary least squares from three different points of view, upon which we disturb the model with random noise and Gaussian noise. Through Gaussian noise, the model gives rise to the likelihood so that we introduce a maximum likelihood estimator. It also develops some distribution theories via this Gaussian disturbance. The distribution theory of least squares will help us answer various questions and introduce related applications. We then prove least squares is the best unbiased linear model in the sense of mean squared error, and most importantly, it actually approaches the theoretical limit. We end up with linear models with the Bayesian approach and beyond.

연구 동기 및 목표

• 일반적인 최소 제곱법에 대한 사전 지식을 전제로 하여 선형 모델에 대한 수학적으로 엄밀한 기초를 제공한다.
• 해석적, 대수적, 기하학적, 분해 방법 등 최소 제곱의 다양한 관점들을 정형 증명을 통해 통합한다.
• 가우시안 노이즈 하에서의 주요 분포 성질을 유도하며, 표본 분포와 점근적 성질을 포함한다.
• 최소 제곱 추정량이 최적의 선형 무एल추정량(BLUE)이자 최소 분산 무एल추정량(MVUE)임을 입증한다.
• 프레임워크를 베이지안 선형 모델과 가우시안 프로세스 회귀로 확장하여 이론적 연결과 예측 분포를 보여준다.

제안 방법

• 미분 기하학(제곱 오차 합 최소화), 대수학(선형대수 기본정리의 응용), 힐버트 공간 내 정규직교 프로젝션을 통한 세 가지 접근 방식으로 최소 제곱 해를 유도한다.
• 완전질량과 질량이 떨어진 설계 행렬 모두에 대해 안정적이고 수치적으로 안정적인 해를 얻기 위해 QR, UTV, SVD 분해를 활용한다.
• 대칭성과 등幂성 행렬 이론을 적용하여 최소 제곱 추정에서의 프로젝션 행렬과 그 성질을 특성화한다.
• 코흐란의 정리와 의사역행렬의 스펙트럼 분해를 활용하여 일반화 역행렬의 맥락에서 질량과 영공간의 동치성을 증명한다.
• 가우시안 노이즈 하에서 최소 제곱 추정량의 표본 분포를 도출하여 카이제곱, 스튜던트의 t-, F-분포를 테스트 통계량에 적용한다.
• 켤레 사전분포(젤러의 g-프리어, 준켤레, 완전 켤레)를 통해 베이지안 접근을 도입하고, 커널 기반 공식화를 통해 가우시안 프로세스 회귀와 연결한다.

실험 결과

연구 질문

• RQ1 최소 제곱 추정의 이론적 기초는 무엇이며, 이는 대수적, 기하학적, 확률적 관점들을 어떻게 통합하는가?
• RQ2 최소 제곱 추정량은 어떤 조건 하에서 모든 선형 무एल추정량 중에서 최소 분산을 가지며, 이 최적성은 어떤 조건에서 보장되는가?
• RQ3 가우시안 노이즈 하에서 최소 제곱 추정량과 잔차 제곱합의 정확한 표본 분포는 무엇이며, 이는 어떤 추론에 기여하는가?
• RQ4 베이지안 프레임워크는 선형 모델에 어떻게系통적으로 적용될 수 있으며, 가우시안 프로세스 회귀와의 연결은 무엇인가?
• RQ5 모멘트 및 고차 모멘트 조건 하에서 OLS 추정량의 대표표본 성질(일致성과 점근 정규성)은 무엇인가?

주요 결과

• 가우스-마르코프 조건 하에서 최소 제곱 추정량이 최적의 선형 무एल추정량(BLUE)임이 증명되었으며, 모든 선형 무एल추정량 중에서 평균 제곱 오차를 최소화한다.
• 가우시안 노이즈 하에서 최소 제곱 추정량의 표본 분포는 다변량 정규분포이며, 잔차 제곱합은 카이제곱 분포를 따른다. 이는 t-검정과 F-검정을 통한 정확한 추론을 가능하게 한다.
• 스펙트럼 분해를 통해 설계 행렬과 그 의사역행렬의 질량이 동일함을 보였으며, 의사역행렬의 영공간이 설계 행렬의 전치행렬의 영공간과 일치함을 입증하였다.
• 설계 행렬의 행공간은 그 모어-펜로즈 역행렬의 열공간과 등장하며, 열공간에 대한 정규직교 프로젝션은 행공간 내의 계수 벡터를 유지한다.
• 평균이 0인 정규 사전분포를 가진 베이지안 선형 모델은 커널 함수가 설계 행렬에서 유도된 가우시안 프로세스와 동치인 예측 분포를 가진다.
• 젤러의 g-프리어와 실증 베이지안 접근 간의 연결이 정형화되었으며, 주변 가능도 최대화를 통한 변수 선택과 수축이 가능해졌다.