[논문 리뷰] Wilks Theorem for penalized maximum likelihood estimators

Vladimir Spokoiny|arXiv (Cornell University)|2012. 05. 02.

Statistical Methods and Inference참고 문헌 15인용 수 1

한 줄 요약

이 논문은 이차 페널티를 갖는 페널티 최대우도 추정기로 윌크스의 정리를 확장하며, 매개변수 차원 p가 증가하거나 무한대일 경우에도 효과적 차원 ps가 ps/n ≈ 0을 만족하면 점근적 카이제곱분포 결과가 유지됨을 보여준다. 주요 기여는 진짜 차원 p가 아닌 효과적 차원 ps에 의존하는 오차 한계를 유도한 것으로, 약한 정규성 조건 하에서 고차원 설정에서도 타당한 추론을 가능하게 한다.

ABSTRACT

This paper extends the famous statistical results like Fisher Theorem and Wilks phenomenon to the penalized maximum likelihood estimation with a quadratic penalization. Spokoiny (2013a) offered a novel approach which allows to study the properties of the quasi maximum likelihood estimators for finite samples and possible model misspecification. The results from Spokoiny (2013a) also apply for a growing parameter dimension p , however under the constraint “ p/n is small”, where n is the sample size. This paper shows that in the case of the penalized maximum likelihood estimation, the results can be applied to arbitrarily large or even infinite dimension p of the parameter space. The error bounds depend on the so called effective dimension ps which can be much smaller than the true dimension p of the parameter space. We particularly show for the i.i.d. case that the results apply under the condition “ p s /n is small”. AMS 2000 Subject Classification: Primary 62F10. Secondary 62J12,62F25,62H12

연구 동기 및 목표

• 고전적 윌크스의 정리를 이차 페널티를 갖는 페널티 최대우도 추정기로 확장하는 것.
• p/n이 크거나 무한대일 수 있는 고차원 설정에서 준최대우도추정기(quasi-MLEs)의 점근적 분포 결과를 확립하는 것.
• 오차 한계가 진짜 차원 p가 아닌 효과적 차원 ps에 의존함을 보이는 것.
• 스포코인키(2013a)의 프레임워크를 약한 정규성 조건 하에서 증가하거나 무한차원 매개변수 공간을 허용하도록 일반화하는 것.
• 페널티 우도 방법을 사용한 고차원 모델에서의 추론에 대한 이론적 근거를 제공하는 것.

제안 방법

• 스포코인키(2013a)의 유한표본 분석을 위한 준최대우도추정기(quasi-MLEs) 프레임워크를 페널티 우도 추정에 적응하는 것.
• 페널티 후 모델의 복잡성을 측정하는 효과적 차원 ps의 개념을 도입하는 것.
• 이차 페널티를 사용하여 우도를 정규화하고 모델 복잡도를 통제하는 것.
• ps/n → 0 조건 하에서 농도 부등식과 점근적 정규성 결과를 도출하는 것.
• 분포 수렴을 확보하기 위해 동일한 분포를 가진 표본(i.i.d. sampling) 시나리오에 결과를 적용하는 것.
• 페널티 우도비율 통계량이 효과적 차원에 해당하는 자유도를 갖는 카이제곱분포로 점근적으로 수렴함을 확립하는 것.

실험 결과

연구 질문

• RQ1 이차 페널티를 갖는 페널티 최대우도 추정기로 윌크스 현상(Wilks' phenomenon)을 확장할 수 있는가?
• RQ2 고차원 설정에서 페널티 우도비율 통계량이 카이제곱분포로 수렴하는 조건은 무엇인가?
• RQ3 효과적 차원 ps는 추정기의 오차 한계와 점근적 분포에 어떻게 영향을 미치는가?
• RQ4 효과적 차원 ps가 작을 경우, 진짜 매개변수 차원 p가 증가하거나 무한대일 때도 추론이 타당한가?
• RQ5 페널티 구조는 모형 불일치와 유한표본 타당성에 대해 어느 정도 허용할 수 있는가?

주요 결과

• 진짜 차원 p가 크거나 무한대일지라도, 페널티 최대우도 추정기는 로그우도비율 통계량에 대해 윌크스 유형의 점근적 카이제곱분포를 나타낸다.
• 점근적 분포는 진짜 차원 p가 아닌 효과적 차원 ps에 의존하며, 이는 실제로 훨씬 작을 수 있다.
• 오차 한계는 ps에 따라 유도되며, 이는 ps/n → 0 조건 하에서 타당성을 보장한다.
• 결과는 스포코인키(2013a)의 프레임워크를 고차원 모델로 확장하여 모형 불일치 하에서도 추론이 가능하도록 한다.
• i.i.d. 케이스가 ps/n이 작을 경우 점근적 결과가 성립하기 위한 필요한 정규성 조건을 만족함을 보였다.