[논문 리뷰] Models as Approximations --- Part II: A General Theory of Model-Robust Regression

Andreas Buja, Richard A. Berk외 4명|arXiv (Cornell University)|2016. 12. 10.

Statistical Methods and Inference인용 수 9

한 줄 요약

이 논문은 비모수적 연합 분포 클래스 위에서 정의된 통계적 함수형(esti-mands)을 파rametric 모델 대신 사용하여 회귀 분석을 위한 모델에 종속되지 않는 프레임워크를 개발한다. 함수형에 대한 잘 정의된 조건의 개념, 재가중치 조정을 통한 진단 도구, 그리고 표본 변동성을 두 개의 $N^{-1/2}$-순서 성분으로 분해하는 방법을 제안하며, $\boldsymbol{xy}$ 부트스트랩 표준오차가 일반적으로 샌드위치 추정량보다 더 안정적임을 보여준다.

ABSTRACT

We develop a model-free theory of general types of parametric for iid observations. The theory replaces the parameters of parametric models with statistical functionals, to be called regression functionals'', defined on large non-parametric classes of joint $\xy$ distributions, without assuming a correct model. Parametric models are reduced to heuristics to suggest plausible objective functions. An example of a functional is the vector of slopes of linear equations fitted by OLS to largely arbitrary $\xy$ distributions, without assuming a linear model (see Part~I). More generally, functionals can be defined by minimizing objective functions or solving estimating equations at joint $\xy$ distributions. In this framework it is possible to achieve the following: (1)~define a notion of well-specification for functionals that replaces the notion of correct specification of models, (2)~propose a well-specification diagnostic for functionals based on reweighting distributions and data, (3)~decompose sampling variability of functionals into two sources, one due to the conditional response distribution and another due to the regressor distribution interacting with misspecification, both of order $N^{-1/2}$, (4)~exhibit plug-in/sandwich estimators of standard error as limit cases of $\xy$ bootstrap estimators, and (5)~provide theoretical heuristics to indicate that $\xy$ bootstrap standard errors may generally be more stable than sandwich estimators.

연구 동기 및 목표

• 기존의 파라메트릭 모델을 비모수적 연합 $\boldsymbol{xy}$ 분포 위에서 정의된 통계적 함수형으로 대체함.
• 진정한 파라메트릭 모델을 가정하지 않고도 모델 정확성의 일반화된 개념인 함수형에 대한 잘 정의된 조건을 개발함.
• 관측된 데이터와 분포를 재가중치 조정하여 함수형의 잘 정의된 조건을 진단하는 데 사용할 수 있는 도구를 제공함.
• 함수형의 표본 변동성을 조건부 응답 분포와 모형 오특함의 영향을 받는 회귀변수 분포와 관련된 두 개의 별개의 $N^{-1/2}$-순서 성분으로 분해함.
• $\boldsymbol{xy}$ 부트스트랩 추정량의 극한으로 플러그인 및 샌드위치 추정량이 나타남을 보이고, $\boldsymbol{xy}$ 부트스트랩 표준오차가 더 안정적임을 주장함.

제안 방법

• 임의의 연합 $\boldsymbol{xy}$ 분포에서 파라메트릭 모델이 정확하다는 가정 없이, 추정 방정식의 해이거나 목적 함수의 최소화자로 회귀 함수형을 정의함.
• 함수형의 재가중치 조정에 따른 불변성 여부를 기반으로 함수형에 대한 잘 정의된 조건을 도입함.
• 함수형의 점근적 분산을 두 성분으로 분해함: 하나는 조건부 응답 분포에서 기인하고, 다른 하나는 회귀변수 분포와 모형 오특함의 상호작용에서 기인함.
• $\boldsymbol{xy}$ 부트스트랩 표준오차 추정량을 구성하고, 이들이 극한에서 플러그인 및 샌드위치 추정량으로 수렴함을 보임.
• 재가중치 조정 기법을 사용하여 재가중된 경험분포와 진짜 분포 간의 함수형 값 비교를 통해 함수형의 잘 정의된 조건을 평가함.
• 고차 수준의 행동과 분산 안정화를 기반으로 한 이론적 힌트를 통해 $\boldsymbol{xy}$ 부트스트랩 표준오차가 샌드위치 추정량보다 일반적으로 더 안정적임을 시연함.

실험 결과

연구 질문

• RQ1 정확한 파라메트릭 모델을 가정하지 않고도, 회귀 함수형에 대한 모델의 강건성 개념을 어떻게 정의할 수 있는가?
• RQ2 잠재적인 모형 오특함 하에서 함수형이 잘 정의되어 있는지 평가하기 위한 어떤 진단 도구를 사용할 수 있는가?
• RQ3 함수형의 표본 변동성은 응답 분포와 회귀변수 분포와 관련된 별개의 원인으로 어떻게 분해할 수 있는가?
• RQ4 $\boldsymbol{xy}$ 부트스트랩 표준오차가 샌드위치 추정량보다 더 안정적인 의미는 무엇이며, 이에 대한 이론적 근거는 무엇인가?
• RQ5 플러그인 및 샌드위치 추정량의 표준오차는 $\boldsymbol{xy}$ 부트스트랩 추정량의 극한과 어떤 관계가 있는가?

주요 결과

• 모형 정확성 대신 재가중치 조정에 대한 불변성에 기반한 함수형의 잘 정의된 조건으로 대체함으로써, 진정한 파라메트릭 모델을 가정하지 않고도 강건한 추론이 가능해짐.
• 함수형의 표본 변동성은 두 개의 $N^{-1/2}$-순서 성분으로 분해됨: 하나는 조건부 응답 분포에서 기인하고, 다른 하나는 회귀변수 분포와 모형 오특함의 상호작용에서 기인함.
• 플러그인 및 샌드위치 추정량이 $\boldsymbol{xy}$ 부트스트랩 추정량의 극한으로 나타남을 보여 이들 방법 간의 이론적 연결 고리를 확립함.
• 이론적 힌트에 따르면, $\boldsymbol{xy}$ 부트스트랩 표준오차는 유한 표본에서 더 나은 분산 안정화 기능 덕분에 일반적으로 샌드위치 추정량보다 더 안정적임이 시사됨.
• 함수형 접근법을 통해 선형 모형이 아닌 데이터 생성 과정에서도 OLS 유사 추정량을 정의하고 분석할 수 있으며, 이는 회귀 추론의 범위를 확장함.
• 재가중치 조정 기반 진단 도구는 유한 표본에서 함수형이 모형 오특함에 강건한지 평가하는 실용적인 방법을 제공함.