[논문 리뷰] Can One Estimate The Unconditional Distribution of Post-Model-Selection Estimators?

Hannes Leeb, Benedikt M. Pötscher|ArXiv.org|2007. 04. 12.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 모형 선택 후 추정량의 조건이 없는 분포를 합리적인 정확도로 추정하는 것은 심지어 점점 커지는 표본 크기에서도 본질적으로 불가능하다는 것을 보여준다. 이는 최소 최대 오차 경계가 큰 표본에서 1/2 또는 1에 가까워지기 때문에, 어떤 추정량도 균일하거나 국소적으로도 일致성을 달성할 수 없음을 증명한다. 이로 인해 표준 기준 하에 모형 선택 이후의 신뢰성 있는 추론은 실현 가능하지 않다.

ABSTRACT

We consider the problem of estimating the unconditional distribution of a post-model-selection estimator. The notion of a post-model-selection estimator here refers to the combined procedure resulting from first selecting a model (e.g., by a model selection criterion like AIC or by a hypothesis testing procedure) and then estimating the parameters in the selected model (e.g., by least-squares or maximum likelihood), all based on the same data set. We show that it is impossible to estimate the unconditional distribution with reasonable accuracy even asymptotically. In particular, we show that no estimator for this distribution can be uniformly consistent (not even locally). This follows as a corollary to (local) minimax lower bounds on the performance of estimators for the distribution; performance is here measured by the probability that the estimation error exceeds a given threshold. These lower bounds are shown to approach 1/2 or even 1 in large samples, depending on the situation considered. Similar impossibility results are also obtained for the distribution of linear functions (e.g., predictors) of the post-model-selection estimator.

연구 동기 및 목표

• 모형 선택 후 추정량의 조건이 없는 분포가 일致성 있게 추정될 수 있는지 조사하기 위해.
• 기존 통계이론이 데이터 기반의 모형 불확실성으로 인해 실패하는 모형 선택 이후의 추론 문제를 다루기 위해.
• 모형 선택 후 추정량의 분포 추정에서 균일하거나 국소 일치성이 가능한지, 알려지지 않은 모수에 대한 복잡한 의존성에도 불구하고 조사하기 위해.
• 선형 함수(예: 예측기)와 같은 모형 선택 후 추정량의 선형 함수로의 불가능성 결과를 확장하기 위해.
• 점점 커지는 표본 크기에서 수렴이 균일하지 않은 비균일 수렴 문제를 야기할 수 있는 점근적 근사 기반의 플러그인 추정량의 타당성을 도전하기 위해.

제안 방법

• 모형 선택 후 추정량의 조건이 없는 분포에 대한 어떤 추정량의 성능에 대한 국소 최소 최대 하한을 유도한다.
• 총 변동 거리로 추정 오차를 측정하고, 오차가 임계값을 초과할 확률에 대한 경계를 설정한다.
• Leeb와 Pötscher(2006a)의 점근적 균일 등연속성 및 연속성 결과를 적용하여 수렴 행동을 분석한다.
• AIC나 가설 검정과 같은 기준에 기반한 모형 선택 절차를 고려한 후 최소 제곱법 또는 최대우도법을 통해 추정을 수행한다.
• 특히 경계 사례 근처에서 다양한 모수 구성 조건 하에서 모형 선택 후 추정량의 분포를 분석한다.
• 선형 함수(예: 예측기)로의 분석을 확장하여 유사한 불가능성 결과를 도출한다.

실험 결과

연구 질문

• RQ1 모형 선택 후 추정량의 조건이 없는 분포는 심지어 점점 커지는 표본 크기에서라도 일치성 있게 추정될 수 있는가?
• RQ2 모형 선택 후 추정량의 분포 추정에서 균일하거나 국소 일치성이 달성 가능한가?
• RQ3 점근적 근사 기반의 플러그인 추정량은 유한 표본 분포에 내재된 비균일성 문제를 극복하는가?
• RQ4 이러한 분포 추정량의 추정 오차에 대한 최소 최대 하한은 무엇인가?
• RQ5 모형 선택 후 추정량의 선형 함수(예: 예측기)에 대해서도 유사한 불가능성 결과가 성립하는가?

주요 결과

• 모형 선택 후 추정량의 조건이 없는 분포에 대한 어떤 추정량도 균일 일치성(심지어 국소적으로도)을 달성할 수 없다.
• 오차가 임계값을 초과할 확률에 대한 최소 최대 하한은 큰 표본에서 1/2 또는 심지어 1에 가까워진다.
• 사용된 모형 선택 기준(예: AIC, 가설 검정)에 관계없이 이 불가능성 결과는 유지되며, 이는 근본적인 제약임을 시사한다.
• 예측기와 같은 모형 선택 후 추정량의 선형 함수의 분포에 대해서도 동일한 불가능성 결과가 적용된다.
• 유한 표본 분포가 점근적 극한으로 수렴하는 데서 비균일 수렴이 발생함으로써 플러그인 추정량의 신뢰성이 떨어진다.
• 결과적으로, 모형 선택 이후의 타당한 추론은 조건이 없는 표본 분포의 일치성 추정을 통해 달성될 수 없다.