[논문 리뷰] The distribution of a linear predictor after model selection: Unconditional finite-sample distributions and asymptotic approximations

Hannes Leeb|RePEc: Research Papers in Economics|2006. 11. 07.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 정규 선형 회귀 모형에서 데이터 기반 모형 선택 이후 선형 예측자의 정확한 유한표본 분포를 유도하며, 계산 가능한 누적분포함수(cdf)와 간단한 점근적 근사치를 제공한다. 주요 기여는 국소 대립가설 하에서 이 분포의 약한 극한을 특성화한 것으로, 비균일 수렴을 보이며 모든 가능한 집적점들을 규명하여 표준 정규분포를 초월한 모형 선택에 의한 심각한 왜곡을 드러낸다.

ABSTRACT

We analyze the (unconditional) distribution of a linear predictor that is constructed after a data-driven model selection step in a linear regression model. First, we derive the exact finite-sample cumulative distribution function (cdf) of the linear predictor, and a simple approximation to this (complicated) cdf. We then analyze the large-sample limit behavior of these cdfs, in the fixed-parameter case and under local alternatives.

연구 동기 및 목표

• 선형 회귀에서 모형 선택 이후 선형 예측자의 정확한 유한표본 누적분포함수(cdf)를 유도하기.
• 복잡한 유한표본 cdf에 대한 단순하고 균일한 점근적 근사치를 개발하기.
• 고정된 파라미터와 국소 대립가설 하에서의 무조건적 cdf의 대표표본 극한 행동을 분석하기.
• 특히 국소 대립가설 하에서, 파라미터 수열을 따라 post-model-selection cdf의 모든 약한 극한점을 특성화하기.
• 유한표본과 대표표본에서의 모형 선택 확률을 분석하며, 특히 국소 파라미터 수열 하에서의 행동을 다루기.

제안 방법

• 정규 선형 모형에서 모형 선택 이후 선형 예측자에 대한 정확한 유한표본 cdf인 $ G_{n,\theta,\sigma}(t) $ 를 유도한다.
• 오차 분산 $ \sigma^2 $ 가 알려져 있다고 가정하는 '이dealized' cdf인 $ G^*_{n,\theta,\sigma}(t) $ 를 도입하여 분석을 단순화하고 점근적 근사를 가능하게 한다.
• 순차적 가설 검정 기반의 일반에서 특정으로의 모형 선택 절차를 사용하여 후보 모형을 결정한다.
• 약한 수렴 이론을 적용하여 파라미터 수열 $ \theta(n), \sigma(n) $ 에 따라 $ G_{n,\theta(n),\sigma(n)}(t) $ 의 집적점을 특성화하며, 특히 국소 대립가설 하에서 분석한다.
• 모형 선택 확률과 조건부 cdf의 전개를 활용하여 무조건적 cdf의 점근적 극한을 도출한다.
• Leeb [1] 및 Leeb & Pötscher [3,4] 의 결과에 기반하여 수렴 성질과 극한 행동의 비균일성을 확립한다.

실험 결과

연구 질문

• RQ1 정규 오차를 가진 선형 회귀 모형에서 모형 선택 이후 선형 예측자의 정확한 유한표본 분포는 무엇인가?
• RQ2 모형 선택으로 인해 모형 선택 후 추정기의 무조건적 분포는 표준 정규분포와 어떻게 다를까?
• RQ3 국소 대립가설 하에서 무조건적 cdf의 점근적 행동은 무엇이며, 고정된 파라미터 경우와 어떻게 다를까?
• RQ4 파라미터 수열 $ \theta(n), \sigma(n) $ 에 따라 post-model-selection cdf의 가능한 모든 약한 극한점은 무엇인가?
• RQ5 모형 선택 확률은 점근적으로 어떻게 행동하는가? 특히 국소 대립가설 하에서 어떻게 되는가?

주요 결과

• 정확한 유한표본 cdf인 $ G_{n,\theta,\sigma}(t) $ 는 닫힌 형태로 유도되었지만 복잡하며, 모형 선택 경로에 의존한다.
• 알려진 $ \sigma^2 $ 를 기반으로 한 점근적 근사치 $ G^*_{n,\theta,\sigma}(t) $ 는 대표표본에서 $ G_{n,\theta,\sigma}(t) $ 와 균일하게 가까운 편이다.
• 무조건적 cdf는 대표표본 극한으로 비균일하게 수렴하므로, 파라미터 수열을 따라 분석이 필요하다.
• 모든 $ G_{n,\theta(n),\sigma(n)}(t) $ 의 약한 극한점이 특성화되었으며, 국소 대립가설이 모든 가능한 극한을 포괄함을 보였다.
• 극한 분포는 점근적 모형 선택 확률에 의해 가중된 조건부 cdf의 볼록 조합이며, $ \theta_{p^*} $ 가 무한대일 때조차도 비퇴화된 극한을 가진다.
• 식 (5.1)의 극한 cdf는 정규분포와 비정규분포 성분의 혼합으로 이루어져 있으며, 모형 선택이 추론에 미치는 영향을 반영한다.