[논문 리뷰] Models as Approximations II: A Model-Free Theory of Parametric Regression

Andreas Buja, Lawrence Brown외 4명|arXiv (Cornell University)|2016. 12. 10.

Statistical Methods and Inference참고 문헌 25인용 수 6

한 줄 요약

이 논문은 모형 가정 없이도 매개변수 회귀를 다룰 수 있는 이론을 개발한다. 이는 회귀 매개변수를 정확한 모형을 가정하지 않고도 임의의 결합분포로부터 유도된 통계적 기능(기능)으로 재정의함으로써 이루어진다. 새로운 '잘 지정된 상태(well-specification)' 개념을 도입하여 회귀자 분포에 대한 불변성을 기반으로 하고, 재가중치 조정을 통한 진단 기법을 제안하며, 표본 변동성의 두 가지 N⁻¹ᐟ² 성분으로 분해됨을 보여준다: 하나는 조건부 응답 분포에서 기인하고, 다른 하나는 모형 오지정과의 상호작용에서 기인한다. 이 프레임워크는 x-y 부트스트랩 또는 샌드위치 추정기법을 이용한 강건한 추론을 가능하게 하며, 부트스트랩의 안정성이 더 높다는 증거가 제시된다.

ABSTRACT

We develop a model-free theory of general types of parametric regression for iid observations. The theory replaces the parameters of parametric models with statistical functionals, to be called "regression functionals'', defined on large non-parametric classes of joint $\xy$ distributions, without assuming a correct model. Parametric models are reduced to heuristics to suggest plausible objective functions. An example of a regression functional is the vector of slopes of linear equations fitted by OLS to largely arbitrary $\xy$ distributions, without assuming a linear model (see Part~I). More generally, regression functionals can be defined by minimizing objective functions or solving estimating equations at joint $\xy$ distributions. In this framework it is possible to achieve the following: (1)~define a notion of well-specification for regression functionals that replaces the notion of correct specification of models, (2)~propose a well-specification diagnostic for regression functionals based on reweighting distributions and data, (3)~decompose sampling variability of regression functionals into two sources, one due to the conditional response distribution and another due to the regressor distribution interacting with misspecification, both of order $N^{-1/2}$, (4)~exhibit plug-in/sandwich estimators of standard error as limit cases of $\xy$ bootstrap estimators, and (5)~provide theoretical heuristics to indicate that $\xy$ bootstrap standard errors may generally be more stable than sandwich estimators.

연구 동기 및 목표

• 기존의 모형 정확성 개념을 모형 가정에 종속되지 않는 새로운 '잘 지정된 상태' 개념으로 대체함으로써, 회귀 기능에 대한 이론적 기반을 마련한다.
• 모형 가정이나 분포 이동 없이도, 회귀자 분포를 재가중함으로써 오지정을 진단할 수 있는 도구를 개발한다. 이는 정량적·정성적 변수 모두에 적용 가능하다.
• 표본 변동성의 두 가지 별개의 원인으로 분해함: 조건부 응답 분포와 오지정과의 상호작용, 둘 다 N⁻¹ᐟ² 속도를 가진다.
• x-y 부트스트랩 표준오차가 플러그인/샌드위치 추정기법의 극한 케이스임을 보여주며, 이론적 기반을 마련함으로써 강건한 추론을 가능하게 한다.
• 모형을 진리가 아니라 근사치로 간주하고, 매개변수의 기능적 해석을 통해 局소 모델링을 지원하는 일반적인 매개변수 회귀 프레임워크를 제공한다.

제안 방법

• 임의의 결합분포(x-y)에서 수치값으로 매핑되는 회귀 기능을 정의하며, 목적 함수 최소화 또는 추정 방정식의 해를 통해 유도한다.
• 회귀자 분포의 극단적 변화에 대해 변하지 않는 성질을 '잘 지정된 상태'로 정의함으로써, 이는 조건부 응답 분포의 성질로만 구성된다.
• 회귀자 분포를 이동시키지 않고 변형함으로써 오지정을 진단하는 재가중치 기반 진단 방법을 제안함으로써, 기능이 회귀자 분포에 의존하는지 여부를 검출할 수 있다.
• 회귀 기능의 점근적 표본 변동성을 두 개의 N⁻¹ᐟ² 성분으로 분해함: 하나는 조건부 응답 분포에서 기인하고, 다른 하나는 회귀자 분포와 오지정 간의 상호작용에서 기인한다.
• 플러그인/샌드위치 추정기법을 x-y 부트스트랩 추정기법의 극한 케이스로 유도함으로써, 부트스트랩과 전통적 추론 간의 이론적 연결 고리를 확립한다.
• 이론적으로 x-y 부트스트랩 표준오차는 비점근적이고, 자료 기반의 성격을 지니므로 일반적으로 샌드위치 추정기법보다 더 안정적일 수 있음을 주장한다.

실험 결과

연구 질문

• RQ1 모형 가정 없이도 매개변수 회귀에서 모형 정확성의 개념을 어떻게 모형 자유 프레임워크에서 재정의할 수 있는가?
• RQ2 기본 모형이 정확하지 않을 경우, 어떤 의미에서 회귀 기능이 '잘 지정된 상태'라고 할 수 있는가?
• RQ3 모형 가정이나 분포 이동 없이도 오지정을 어떻게 진단할 수 있는가?
• RQ4 표본 변동성이 응답 분포와 회귀자 분포와의 관련성으로 어떻게 두 성분으로 분해되는가?
• RQ5 x-y 부트스트랩 표준오차와 플러그인/샌드위치 추정기법 사이의 이론적 관계는 무엇이며, 유한 표본에서 어느 것이 더 강건한가?

주요 결과

• 회귀 기능의 '잘 지정된 상태'는 회귀자 분포의 극단적 변화에 대해 불변인 성질로 정의되며, 이는 오직 조건부 응답 분포의 성질로만 구성된다.
• 표본 변동성은 두 성분으로 분해되며, 각 성분의 크기는 N⁻¹ᐟ²이다: 하나는 조건부 응답 분포에서 기인하고, 다른 하나는 회귀자 분포와 오지정 간의 상호작용에서 기인한다.
• 재가중치 조정 진단법은 기능이 회귀자 분포에 의존하는지 평가함으로써 오지정을 탐지할 수 있으며, 이 방법은 정량적·정성적 변수 모두에 적용 가능하다.
• 플러그인/샌드위치 추정기법의 표준오차는 x-y 부트스트랩 추정기법의 극한 케이스임을 보여주며, 이론적으로 리샘플링 기반 추론과 전통적 추론 간의 연결 고리를 확립한다.
• 이론적 힌트에 따르면, x-y 부트스트랩 표준오차는 비점근적이고 자료 기반의 성격을 지니므로 일반적으로 샌드위치 추정기법보다 더 안정적일 수 있다.
• 이 프레임워크는 회귀 기능을 통한 局소 최적 근사치 탐색을 통해 모형의 국소화를 가능하게 하며, 단일 적합을 넘어서는 매개변수 모형의 표현력을 크게 확장한다.