[논문 리뷰] Models as Approximations: How Random Predictors and Model Violations Invalidate Classical Inference in Regression

Andreas Buja, Richard A. Berk외 6명|arXiv (Cornell University)|2014. 04. 06.

Advanced Statistical Methods and Models참고 문헌 13인용 수 4

한 줄 요약

이 논문은 할버트 화이트의 강력한 추론 프레임워크를 재해석하며, 모형이 근사치이고 예측변수가 랜덤일 경우 고전적 회귀 추론이 실패함을 보여준다. 비모수적 점근 이론 하에서 유도된 샌드위치 추정량은 모형이 잘못 지정되었을 때 비선형성과 이방성으로 인해 고전적 표준오차가 실패하는 상황에서 유효한 추론을 제공함을 입증한다. 추정량 간의 차이는 크기가 임의로 커질 수 있다.

ABSTRACT

We review and interpret the early insights of Halbert White who over thirty years ago inaugurated a form of statistical inference for regression models that is asymptotically correct even under misspecification, that is, under the assumption that models are approximations rather than generative truths. This form of inference, which is pervasive in econometrics, relies on the of standard error. Whereas linear models theory in statistics assumes models to be true and predictors to be fixed, White's theory permits models to be approximate and predictors to be random. Careful reading of his work shows that the deepest consequences for statistical inference arise from a synergy --- a conspiracy --- of nonlinearity and randomness of the predictors which invalidates the ancillarity argument that justifies conditioning on the predictors when they are random. Unlike the standard error of linear models theory, the sandwich estimator provides asymptotically correct inference in the presence of both nonlinearity and heteroskedasticity. An asymptotic comparison of the two types of standard error shows that discrepancies between them can be of arbitrary magnitude. If there exist discrepancies, standard errors from linear models theory are usually too liberal even though occasionally they can be too conservative as well. A valid alternative to the sandwich estimator is provided by the bootstrap; in fact, the sandwich estimator can be shown to be a limiting case of the pairs bootstrap. We conclude by giving meaning to regression slopes when the linear model is an approximation rather than a truth. --- In this review we limit ourselves to linear least squares regression, but many qualitative insights hold for most forms of regression.

연구 동기 및 목표

• 모형이 진정한 데이터 생성 과정이 아니라 근사치로 간주될 때 할버트 화이트의 강력한 추론 이론을 재해석하여 회귀 분석의 기초적인 작업을 재정립한다.
• 예측변수가 랜덤이고 모형이 비선형인 경우 고전적 추론이 실패하는 핵심 원인을 규명하며, 표준 선형 모형 이론에서 사용되는 부수성 가정의 문제를 도전한다.
• 모형이 잘못 지정되었을 때 고전적 선형 모형 이론에서 유도된 표준오차가 일반적으로 너무 낙관적으로 평가되며, 이로 인해 샌드위치 추정량과의 차이가 유한하지 않을 수 있음을 보여준다.
• 특히 쌍의 부트스트랩을 포함한 부트스트랩 방법이 샌드위치 추정량의 유효한 대안이 되며, 후자가 한계 형태로 나타남을 보여준다.
• 선형 모형이 진정한 데이터 생성 과정이 아니라고 할 때 회귀 기울기의 해석 방법을 명확히 한다.

제안 방법

• 모형이 잘못 지정되었을 때의 점근 이론을 적용하여, 모형을 진정한 진리가 아니라 근사치로 간주한다.
• 예측변수가 랜덤이고 비선형일 경우 조건부 기대값의 성질이 손상되어, 고전적 추론의 핵심이 되는 부수성 가정이 무너지는 영향을 분석한다.
• 고전적 선형 모형 표준오차와 화이트의 샌드위치 추정량이라는 두 가지 표준오차 유형을 유도하고 비교하며, 잘못 지정된 모형 하에서의 이들의 차이를 강조한다.
• 점근 분석을 통해 두 표준오차 간의 차이가 비선형성과 이방성의 정도에 따라 임의로 크게 나타날 수 있음을 보여준다.
• 샌드위치 추정량이 쌍의 부트스트랩의 점근적 형태로 나타남을 보여주며, 재표본 추출 기반 추론과 강력한 분산 추정 간의 이론적 연결 고리를 확립한다.
• 수학적 추론과 점근적 동치성을 기반으로, 고전적 추론이 붕괴되는 상황에서 샌드위치 추정량의 사용을 정당화한다.

실험 결과

연구 질문

• RQ1 왜 모형이 근사치이고 예측변수가 랜덤일 경우 선형 회귀의 고전적 추론이 실패하는가?
• RQ2 모형이 잘못 지정되었을 때 고전적 표준오차와 샌드위치 추정량 간의 차이가 발생하는 원인은 무엇인가?
• RQ3 비선형성과 랜덤 예측변수의 상호작용이 기존 추론에서 사용되는 부수성 가정을 어떻게 무너뜨리는가?
• RQ4 어떤 의미에서 샌드위치 추정량은 모형이 잘못 지정되었을 때 고전적 표준오차의 유효한 대안이 되는가?
• RQ5 선형 모형이 진정한 데이터 생성 과정이 아닐 경우 회귀 계수는 어떻게 해석해야 하는가?

주요 결과

• 고전적 추론은 고정된 예측변수와 진정한 모형을 전제로 하지만, 예측변수가 랜덤이고 모형이 근사치일 경우 부수성 가정의 실패로 인해 붕괴된다.
• 고전적 표준오차와 샌드위치 추정량 간의 차이는 임의로 크게 나타날 수 있으며, 이는 모형이 잘못 지정되었을 때 고전적 오차가 일반적으로 너무 낙관적으로 평가됨을 의미한다.
• 샌드위치 추정량은 이방성과 모형의 비선형성 모두에 대해 점근적으로 올바른 추론을 제공하므로, 고전적 가정의 위반에 강건하다.
• 쌍의 부트스트랩은 한계에서 샌드위치 추정량으로 수렴하며, 이는 후자가 재표본 추론의 대략적인 한계 형태임을 이론적으로 뒷받침한다.
• 선형 모형이 진정한 데이터 생성 과정이 아니더라도, 회귀 기울기는 조건부 기대값 함수의 국소 근사로 여전히 해석 가능하다.
• 핵심 통찰은 모형의 잘못 지정과 랜덤 예측변수의 조합이 표준 추론을 무너뜨리며, 이에 따라 샌드위치 추정량과 같은 강력한 대안이 필요하다는 것이다.