[논문 리뷰] Models as Approximations, Part I: A Conspiracy of Nonlinearity and Random Regressors in Linear Regression

Andreas Buja, Richard A. Berk외 6명|arXiv (Cornell University)|2014. 04. 06.

Advanced Statistical Methods and Models참고 문헌 33인용 수 17

한 줄 요약

이 논문은 선형 회귀 모델이 비선형성과 랜덤 회귀변수에 본질적으로 민감함을 보이며, 고정된 보조적 공변량 변수라는 가정을 도전한다. 표준 오차는 이질분산성과 비선형성에 일관된 추정기(예: 샌드위치 추정기 또는 xy-부트스트랩)를 사용하는 모델에 강건한 표준 오차여야만 유효한 추론을 보장할 수 있으며, 이는 모델가정 위반 하에서 전통적인 표준 오차가 진짜 표집 변동성으로부터 임의로 벗어날 수 있기 때문이다.

ABSTRACT

In the early 1980s Halbert White inaugurated a model-robust'' form of statistical inference based on the estimator'' of standard error. This estimator is known to be heteroskedasticity-consistent, but it is less well-known to be nonlinearity-consistent'' as well. Nonlinearity, however, raises fundamental issues because in its presence regressors are not ancillary, hence can't be treated as fixed. The consequences are deep: (1)~population slopes need to be re-interpreted as statistical functionals obtained from OLS fits to largely arbitrary joint $\xy$~distributions; (2)~the meaning of slope parameters needs to be rethought; (3)~the regressor distribution affects the slope parameters; (4)~randomness of the regressors becomes a source of sampling variability in slope estimates; (5)~inference needs to be based on model-robust standard errors, including sandwich estimators or the $\xy$~bootstrap. In theory, model-robust and model-trusting standard errors can deviate by arbitrary magnitudes either way. In practice, significant deviations between them can be detected with a diagnostic test.

연구 동기 및 목표

• 선형 모델에서 회귀변수가 고정되어 있고 보조적이라는 전통적 가정을 비판하는 것, 특히 비선형성 하에서의 적용을 고려하여.
• 회귀변수의 랜덤성과 비선형성이 OLS에서 기울기 파rameter의 해석을 본질적으로 어떻게 바꾸는지 드러내는 것.
• 모델 신뢰 표준 오차가 임의로 편향될 수 있으며, 이에 따라 모델에 강건한 대안이 반드시 필요하다는 것을 주장하는 것.
• 실제 응용에서 유효한 통계적 추론을 위해서는 비선형성에 강건한 추론이 필수적이라는 것을 확립하는 것.

제안 방법

• 회귀변수를 고정된 상수 대신 랜덤 변수로 간주함으로써 비선형성의 영향을 유도한다.
• 모집단 기울기를 X와 Y의 공동분포의 통계기능으로 재해석하며, 구조적 파rameter가 아니라고 본다.
• 이질분산성과 비선형성을 고려하기 위해 샌드위치 추정기(Huber-White 표준 오차)를 적용한다.
• X와 Y를 동시에 재표본 추출하는 xy-부트스트랩을 사용하여 랜덤 회귀변수에 의해 유도된 표집 변동성을 포착한다.
• 기존 표준 오차가 비선형성 하에서 진짜 표집 변동성으로부터 임의로 벗어날 수 있으므로, 모델에 강건한 표준 오차가 반드시 필요하다는 것을 입증한다.
• 모델 신뢰 표준 오차와 모델에 강건한 표준 오차 간의 심각한 편차를 감지할 수 있는 진단 검사를 제안한다.

실험 결과

연구 질문

• RQ1 회귀변수가 고정된 것이 아니라 랜덤일 경우 비선형성이 OLS 기울기 파rameter의 해석에 어떻게 영향을 미치는가?
• RQ2 비선형성과 랜덤 회귀변수가 존재할 때 기존 표준 오차가 얼마나 잘못된 정보를 줄 수 있는가?
• RQ3 샌드위치 추정기와 같은 모델에 강건한 표준 오차는 모델 가정 위반 하에서도 표집 변동성을 일관되게 추정할 수 있는가?
• RQ4 X와 Y의 공동분포가 선형 회귀에서 추정된 기울기 파rameter에 어떤 영향을 미치는가?
• RQ5 모델 신뢰 표준 오차가 모델에 강건한 대안과 상당히 다를 경우를 어떻게 감지할 수 있는가?

주요 결과

• 선형 회귀에서 모집단 기울기는 구조적 파rameter가 아니라 X와 Y의 공동분포의 통계기능으로 재해석되어야 한다.
• 회귀변수의 랜덤성은 기울기 추정치에 추가적인 표집 변동성을 유도하며, 이는 X가 고정된 것으로 가정하는 표준 오차에서는 포착되지 않는다.
• 샌드위치 추정기나 xy-부트스트랩과 같은 모델에 강건한 표준 오차가 필요하다. 이는 비선형성 하에서 기존 표준 오차가 진짜 표집 변동성으로부터 임의로 벗어날 수 있기 때문이다.
• 모델 신뢰 표준 오차와 모델에 강건한 표준 오차 간의 차이는 크기와 방향 모두에서 임의로 클 수 있으며, 이는 기존 추론의 타당성을 무너뜨린다.
• 모델 신뢰 표준 오차와 모델에 강건한 표준 오차 간의 심각한 차이를 감지할 수 있는 진단 검사가 존재하며, 이는 실무자들이 기존 추론의 신뢰성을 평가하는 데 도움이 된다.