[논문 리뷰] Testing in the Presence of Nuisance Parameters: Some Comments on Tests Post-Model-Selection and Random Critical Values

Hannes Leeb, Benedikt M. Pötscher|Munich Personal RePEc Archive (Ludwig Maximilian University of Munich)|2012. 09. 20.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 낙관적 모수(이완 모수)가 존재할 경우 가역적 임계값을 사용하는 가설 검정의 사용을 비판하며, 이러한 검정이 조건부로나마 명목 수준을 초과하는 경향이 있음을 보여준다. 직관적으로는 추정된 이완 모수를 사용한 임계값이 효과적으로 작용할 수 있으나, 실제로는 정확한 크기를 유지하지 못함을 밝히고, 유효한 추론을 보장하기 위해 보수적인 최대값 기반 임계값을 제안한다.

ABSTRACT

We point out that the ideas underlying some test procedures recently proposed for testing post-model-selection (and for some other test problems) in the econometrics literature have been around for quite some time in the statistics literature. We also sharpen some of these results in the statistics literature. Furthermore, we show that some intuitively appealing testing procedures, that have found their way into the econometrics literature, lead to tests that do not have desirable size properties, not even asymptotically.

연구 동기 및 목표

• 추정된 이완 모수에서 유도된 무작위 임계값을 사용하는 검정 절차의 결함을 식별하고 분석하기.
• 이러한 검정이 조건부로나마 명목 수준을 초과하는 크기를 가질 수 있음을 보여주기.
• 최근 경제학에서 제안된 모형 선택 후 검정을 위한 아이디어들이 실제로는 통계 문헌에서 이미 이전에 확립된 바가 아니며, 새로운 것이 아님을 명확히 하기.
• 특히 비정규 추정 설정에서 이완 모수 존재 시 크기 제어에 대해 더 날카운 이론적 결과를 제공하기.
• 무작위 임계값 검정의 성능을 보수적이고 최대값 기반의 대안과 대조하기.

제안 방법

• 검정 통계량의 귀무분포가 알려지지 않은 이완 모수 β에 의존하는 프레임워크를 사용하며, 이러한 의존성을 반영한 임계값이 필요하다.
• 최대값 기반 임계값의 사용을 제안: $ c_{n,\text{sup}}(\delta) = \sup_{\beta \in B} c_{n,\beta}(\delta) $, 이는 검정의 크기가 ≤ δ임을 보장한다.
• 추정된 모수 $ \hat{\beta}_n $ 에 기반한 무작위 임계값 $ c_{n,\hat{\beta}_n}(\delta) $ 의 크기 성질을 분석한다.
• 만약 최악의 β 하에서 $ c_{n,\hat{\beta}_n}(\delta) < c_{n,\text{sup}}(\delta) $ 가 양의 확률로 성립한다면, 이는 검정 크기가 δ를 초과함을 보여주는 형식적 증명을 사용한다.
• 선형 회귀 모형에 대해 알려진 분산과 상관관계가 있는 모수를 가정하고, 渐近 정규 근사법을 사용하여 임계값에 대한 명시적 표현을 유도한다.
• 데이터 기반 임계값 $ \eta_n \to 0 $ 을 사용하는 수정된 절차를 고려하며, 비록 점점 보수적 검정에 수렴하더라도 유한 표본에서의 크기 과대평가가 여전히 지속됨을 보여준다. 유의미한 구성이 이루어지지 않으면서.

실험 결과

연구 질문

• RQ1 추정된 이완 모수에서 유도된 무작위 임계값을 사용하는 검정 절차는 유한 표본에서 명목 수준을 유지하는가?
• RQ2 왜 일부 직관적으로 매력적으로 보이는 추정된 이완 모수를 사용하는 검정은 조건부로나마 크기를 제어하지 못하는가?
• RQ3 이완 모수가 존재할 경우 최대값 기반 임계값을 사용하는 데 이론적 근거는 무엇인가?
• RQ4 무작위 임계값 검정의 크기 성질은 보수적이고 고정된 임계값 검정과 어떻게 비교되는가?
• RQ5 무작위 임계값에 대한 데이터 기반 조정은 유한 표본에서 정확한 크기 제어를 복구할 수 있는가?

주요 결과

• 무작위 임계값 $ c_{n,\hat{\beta}_n}(\delta) $ 을 사용하는 검정은 크기가 δ가 아니며, 조건부로나마 크기가 δ를 엄격히 초과할 수 있다.
• 조건 (4) — $ P_{n,\alpha_0,\beta_n^{\max}}(c_{n,\hat{\beta}_n}(\delta) < T_n(\alpha_0) \leq c_{n,\text{sup}}(\delta)) > 0 $ — 는 크기 과대평가를 위한 충분조건이며, 일반적인 조건 하에서 성립한다.
• 최대값 기반 임계값 $ c_{n,\text{sup}}(\delta) $ 는 유효한 크기 δ 검정을 보장하지만, 보수성으로 인해 검정력이 감소한다.
• 조금씩 줄어드는 $ \eta_n \to 0 $ 인 경우에도, $ \hat{c}_{n,\eta_n,\min}(\delta) $ 를 기반으로 한 검정은 모든 유한한 n 에서 명목 수준을 초과한다. 비록 점점 보수적 검정에 수렴한다.
• 데이터 기반 임계값 $ c_{n,\eta_n,\text{Loh}}(\delta) $ 를 사용하는 검정은 각 n 에서 정확한 크기를 유지하며, $ \eta_n \to 0 $ 일 때 보수적 검정에 수렴하므로 다른 대안보다 바람직하다.
• 무작위 임계값이 잘못된 검정을 초래할 수 있다는 결과는 이전에 통계 문헌에서 이미 확립되어 있었으며 (예: Loh, 1985), 본 논문은 모형 선택 후 추론의 맥락에서 이러한 결과를 더욱 정교하게 다룬다.