[논문 리뷰] Can one estimate the conditional distribution of post-model-selection estimators?

Hannes Leeb, Benedikt M. Pötscher|RePEc: Research Papers in Economics|2007. 02. 23.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 AIC와 같은 데이터 기반 기준을 사용해 모델을 선택한 후에 생성된 후모델선택 추정량의 조건부 분포를 정확하게 추정하는 것은 심지어 渐近적으로도 본질적으로 불가능하다는 것을 보여준다. 저자들은 이러한 분포에 대해 어떤 추정량도 균일(또는 국소적) 일致성을 달성할 수 없음을 증명하며, 일반 조건 하에서 신뢰할 수 있는 추정을 배제하는 최소최대 하한선을 설정한다.

ABSTRACT

We consider the problem of estimating the conditional distribution of a post-model-selection estimator where the conditioning is on the selected model. The notion of a post-model-selection estimator here refers to the combined procedure resulting from first selecting a model (e.g., by a model selection criterion such as AIC or by a hypothesis testing procedure) and then estimating the parameters in the selected model (e.g., by least-squares or maximum likelihood), all based on the same data set. We show that it is impossible to estimate this distribution with reasonable accuracy even asymptotically. In particular, we show that no estimator for this distribution can be uniformly consistent (not even locally). This follows as a corollary to (local) minimax lower bounds on the performance of estimators for this distribution. Similar impossibility results are also obtained for the conditional distribution of linear functions (e.g., predictors) of the post-model-selection estimator.

연구 동기 및 목표

• 후모델선택 추정량의 조건부 분포가 신뢰성 있게 추정될 수 있는지 조사하기.
• 특히 유한 표본 또는 대표본에서 이러한 분포의 일致성 추정이 가능한지 판단하기.
• 후모델선택 추정량의 선형 함수(예: 예측자)의 조건부 분포 추정량의 성능을 검토하기.
• 최소최대 이론을 사용하여 이러한 추정량의 정확도에 대한 근본적 한계를 설정하기.
• 유한 표본에서 비균일 수렴 문제를 극복할 수 있는 '플러그인' 또는 기타 추정량이 존재하는지 여부를 해결하기.

제안 방법

• 후모델선택 추정량의 조건부 분포에 대한 어떤 추정량의 성능에 대한 근본적 한계를 설정하기 위해 최소최대 하한선을 사용한다.
• 정규 조건 하에서 모델 선택 및 추정 절차의 공동 분포의 渐近적 행동을 분석한다.
• 연속성 이론과 총변동 거리 수렴 결과를 적용하여 조건부 분포의 점근적 행동을 연구한다.
• 이론적 결과를 도출하기 위해 알려진 설계 행렬과 i.i.d. 정규 오차를 가진 정규 선형 회귀 프레임워크를 사용한다.
• 모델 선택이 AIC나 가설 검정과 같은 기준에 기반하고, 이후 최소제곱법 또는 최대우도법으로 추정이 이루어지는 경우를 고려한다.
• 모순 증명과 다변량 정규분포의 성질을 활용하여 불가능성 결과를 증명하며, 특히 레미마 D.3과 관련 분포 항등식을 사용한다.

실험 결과

연구 질문

• RQ1 후모델선택 추정량의 조건부 분포는 심지어 渐近적으로도 일관되게 추정될 수 있는가?
• RQ2 후모델선택 추정량의 조건부 분포에 대해 균일 또는 국소 일관성을 달성하는 추정량이 존재하는가?
• RQ3 대표본 근사에 기반한 '플러그인' 추정량이 유한 표본에서의 비균일 수렴 문제를 극복하는가?
• RQ4 후모델선택 추정량의 선형 함수(예: 예측자)의 조건부 분포는 신뢰성 있게 추정될 수 있는가?
• RQ5 데이터 기반 모델 선택 이후 분포 추정의 정확도에 대한 근본적 한계는 무엇인가?

주요 결과

• 후모델선택 추정량의 조건부 분포에 대한 어떤 추정량도 균일 일관성이 없으며, 심지어 국소적으로도 그렇지 않다.
• 유한 표본 분포의 극한으로의 수렴에서 근본적인 비균일성 때문에 대표본에서도 이러한 결과가 유지된다.
• 후모델선택 추정량의 조건부 분포 추정 위험에 대한 최소최대 하한선은 0이 아니며, 이는 안정적인 추정이 불가능함을 증명한다.
• 동일한 불가능성 결과는 후모델선택 추정량의 선형 함수(예: 예측자)의 조건부 분포에도 적용된다.
• 모델 선택이 AIC, 가설 검정 또는 기타 데이터 기반 기준에 기반하건간에 결과는 동일하게 성립한다.
• 일관된 추정의 실패는 알려지지 않은 모수에 대한 유한 표본 분포의 복잡하고 비균일한 의존성에 기인하며, 이러한 의존성은 신뢰성 있게 추정할 수 없다.