[논문 리뷰] Model-free Study of Ordinary Least Squares Linear Regression

Arun Kumar Kuchibhotla, Lawrence D. Brown외 1명|arXiv (Cornell University)|2018. 09. 27.

Advanced Statistical Methods and Models참고 문헌 15인용 수 8

한 줄 요약

이 논문은 일반 최소제곱법(O coef{LS}) 선형 회귀에 대한 모델 자유형, '뒤집힌' 분석을 제시하며, OLS가 최소한의 가정 하에서 작동함을 보여준다. 특히 공변수와 반응의 2차 모멘트에 대해 대수법칙(LLN)과 중심극한정리(CLT)가 성립할 경우에 해당한다. 주요 기여는 이러한 조건 하에서 진짜 모형이 잘못 지정된 경우에도 OLS가 준모수적으로 효율적이라는 점이며, 점근 정규성과 일관된 분산 추정을 통해 추론이 타당하다는 것이다.

ABSTRACT

Ordinary least squares (OLS) linear regression is one of the most basic statistical techniques for data analysis. In the main stream literature and the statistical education, the study of linear regression is typically restricted to the case where the covariates are fixed, errors are mean zero Gaussians with variance independent of the (fixed) covariates. Even though OLS has been studied under misspecification from as early as the 1960's, the implications have not yet caught up with the main stream literature and applied sciences. The present article is an attempt at a unified viewpoint that makes the various implications of misspecification stand out.

연구 동기 및 목표

• 모델 가정이 아닌 추정기에서 출발하여 OLS 회귀를 재정의하기 위해.
• OLS가 잘 정의된 목표를 가지며 타당한 통계적 추론이 가능한 최소 조건을 규명하기 위해.
• 고정된 공변수와 랜덤 공변수의 처리를 통합하기 위해 고정된 값을 탈출성 분포로 간주함으로써.
• 진짜 모형이 잘못 지정된 경우에도 OLS가 여전히 준모수적으로 효율적임을 보여주기 위해.
• i.i.d. 또는 정규 오차 가정 없이도 점근 분산 추정과 부트스트랩 기반 추론을 위한 프레임워크 제공하기 위해.

제안 방법

• 사전에 존재하는 진짜 모형을 가정하는 대신, 추정기 자체에 내재된 목표로 정의되는 '뒤집힌' 분석을 제안함.
• 정규 방정식의 추정 방정식을 사용하고, 공변수와 반응의 표본 모멘트에 대해 LLN와 CLT를 적용함.
• OLS 추정기를 표본 평균의 함수로 정의함: $ \hat{\beta}_n = \left(\frac{1}{n}\sum X_iX_i^T\right)^{-1}\left(\frac{1}{n}\sum X_iY_i\right) $, LLN에 따라 수렴함.
• 약한 의존성과 모멘트 조건을 가정하여 Lindeberg-Feller CLT를 적용해 $ \sqrt{n}(\hat{\beta}_n - \beta_n) $의 점근 정규성을 도출함.
• 영향 함수를 유도하고 Cramér-Rao 하한을 달성함으로써 OLS 추정기가 준모수적으로 효율적임을 입증함.
• 일반적인 의존 구조(예: 혼합 또는 마르코프 과정)에서도 유효한 점근 분산 추정 이론과 부트스트랩 기반 추론을 제공함.

실험 결과

연구 질문

• RQ1 OLS 추정기가 잘 정의된 목표를 가지며 타당한 추론이 가능한 최소한의 가정은 무엇인가?
• RQ2 선형성이나 정규 오차를 가정하지 않더라도, 진짜 모형이 잘못 지정된 경우에도 OLS가 효율적임을 입증할 수 있는가?
• RQ3 i.i.d. 가정 없이도 강한 혼합 또는 마르코프 체인과 같은 의존 구조에서 추론을 어떻게 수행할 수 있는가?
• RQ4 일반적인 모멘트 조건과 약한 의존성 하에서 OLS 추정기의 점근 분포는 무엇인가?
• RQ5 이unge스키드 또는 독립성 가정 없이도 일관된 분산 추정과 타당한 신뢰구간을 구성할 수 있는가?

주요 결과

• OLS 추정기는 공변수와 반응의 2차 모멘트에 대해 대수법칙과 중심극한정리를 만족할 경우, 최소한의 조건 하에서 준모수적으로 효율적이다.
• OLS 추정기는 목표 $ \beta_n $에 대해 Cramér-Rao 하한을 달성하며, 이는 표본 모멘트를 포함한 추정 방정식의 해로 정의된 $ \beta_n $이다.
• $ \sqrt{n}(\hat{\beta}_n - \beta_n) $의 점근 분포는 평균이 0이고 분산-공분산 행렬 $ \Sigma_n^{-1} \mathbb{E}[X_iX_i^T(Y_i - X_i^T\beta_n)^2] \Sigma_n^{-1} $인 정규분포이며, 영향 함수로부터 도출된다.
• OLS의 영향 함수는 $ \Sigma_n^{-1}X_i(Y_i - X_i^T\beta_n) $이며, OLS 추정기가 이 형태를 따름으로써 효율성이 확인된다.
• 약한 의존성(예: 강한 혼합 또는 마르코프 체인) 하에서도 점근 분산 추정과 부트스트랩 기반 추론이 유효하며, i.i.d. 또는 이unge스키드 오차 가정이 필요하지 않다.
• 고정된 값들을 탈출성 분포로 간주함으로써 고정 및 랜덤 공변수를 통합하는 프레임워크를 제공하여 단일 이론적 처리가 가능해진다.