[논문 리뷰] Asymptotics for minimisers of convex processes

Nils Lid Hjort, David Pollard|arXiv (Cornell University)|2011. 07. 19.

Statistical Methods and Inference참고 문헌 20인용 수 158

한 줄 요약

이 논문은 볼록 기반의 일반적인 방법을 제시하여 볼록 기준 함수의 최소화로부터 유도된 추정량의 일致성과 점근 정규성을 증명한다. 두 가지 핵심 볼록성 보조정리—볼록 확률 과정의 균일 수렴과 변형된 함수를 통한 argmin의 근사—를 활용하여, 이전에 알려진 바보다 더 약한 정규성 조건에서도 로지스틱 회귀 및 코ックス 회귀에 대해 더 단순하고 보다 광범위하게 적용 가능한 증명을 수립한다.

ABSTRACT

By means of two simple convexity arguments we are able to develop a general method for proving consistency and asymptotic normality of estimators that are defined by minimisation of convex criterion functions. This method is then applied to a fair range of different statistical estimation problems, including Cox regression, logistic and Poisson regression, least absolute deviation regression outside model conditions, and pseudo-likelihood estimation for Markov chains. Our paper has two aims. The first is to exposit the method itself, which in many cases, under reasonable regularity conditions, leads to new proofs that are simpler than the traditional proofs. Our second aim is to exploit the method to its limits for logistic regression and Cox regression, where we seek asymptotic results under as weak regularity conditions as possible. For Cox regression in particular we are able to weaken previously published regularity conditions substantially.

연구 동기 및 목표

• 볼록 최소화에 의해 정의된 추정량의 일치성과 점근 정규성을 증명하기 위한 통합적이고 일반적인 방법을 개발하는 것.
• 최소 제곱법, 로지스틱 회귀, 코ックス 회귀, 최소 절대 편차 회귀 등 다양한 통계 모델에 대한 기존 증명을 단순화하고 통합하는 것.
• 로지스틱 회귀 및 코ックス 회귀에서 점근 결과를 위한 정규성 조건을 약화시키는 것—특히 코ックス 회귀의 경우 기존 조건을 상당히 완화하는 것.
• 전문가를 위한 고급 결과를 제공하면서도 교육적 가치를 입증하기 위해 접근 가능한 증명을 제공하는 것.
• 표준 모델을 초월한 적용 가능성을 제공하는 프레임워크를 마련하는 것—예를 들어 마르코프 체인에 대한 가짜우도 추정 및 포아송 회귀에 응용 가능.

제안 방법

• 점별 수렴과 볼록성에서 유도된 컴acts 집합에서의 볼록 확률 과정의 균일 수렴을 보장하는 보조정리 1을 활용한다.
• 최소값 부근의 곡률과 최대노름 편차를 기반으로, 무작위 볼록 함수의 argmin과 그 변형된 형태의 argmin 간 거리에 대한 확률적 경계를 제공하는 보조정리 2를 활용한다.
• 정규화 및 중심화된 기준 함수에 대해 argmin 근사 프레임워크를 적용하여 점근 정규성을 도출한다.
• 볼록성 하에서 추정량이 잘 정의되고 가측성이 보장되도록 argmin의 가측 선택을 사용한다.
• 로그-볼록 우도를 가진 모델—로지스틱 회귀 및 코克斯 회귀 포함—에 대해 기준 함수의 적절한 근사화를 통해 이 방법을 적용한다.
• 수렴의 확률적 수렴을 위한 지배 수렴 보조정리 및 확률 과정에서 나머지 항의 제어를 위한 테일러 전개 경계를 포함한 보조 보조정리를 활용한다.

실험 결과

연구 질문

• RQ1 볼록 최소화에 의해 정의된 추정량의 일치성과 점근 정규성을 동시에 증명하기 위한 단일한 일반적 방법을 개발할 수 있는가?
• RQ2 로지스틱 회귀 및 코克斯 회귀에서 정규성 조건을 얼마나 약화시킬 수 있으며, 점근 정규성 유지에 영향을 주지 않는가?
• RQ3 일치성과 점근 정규성 증명을 별도로 다루는 데서 비롯되는 특수한 방법론을 피하기 위해 볼록성은 어떻게 활용될 수 있는가?
• RQ4 이 방법은 최소 제곱법, 최소 절대 편차 회귀, 최대우도 추정과 같은 고전적 모델에서 기존 증명을 어떻게 단순화하거나 통합할 수 있는가?
• RQ5 이 방법은 마르코프 체인에 대한 가짜우도 추정 또는 최소 가정 하에서의 포아송 회귀와 같은 비정규 모델로 확장될 수 있는가?

주요 결과

• 이 방법은 볼록성과 균일 수렴만을 사용하여 일치성과 점근 정규성을 증명하는 통합 프레임워크를 제공하며, 복잡한 도함수 기반 추론을 피한다.
• 로지스틱 회귀의 경우, 이전에 알려진 것보다 더 약한 정규성 조건 하에서도 점근 정규성을 확보할 수 있으며, 특히 모멘트와 매끄러움 조건을 완화함으로써 가능해진다.
• 코ックス 회귀의 경우, 점근 정규성에 필요한 정규성 조건을 상당히 약화시켜 이전 결과를 개선한다—기본 위험도와 공변수의 종속성에 대한 가정을 완화함으로써.
• argmin 근사 보조정리(보조정리 2)의 사용은 최소값 부근의 미분 가능성이나 엄격한 곡률을 요구하지 않고도 추정량 수렴을 직접 제어할 수 있게 한다.
• 최소 절대 편차 회귀나 포아송 회귀와 같은 표준 모델에 대해서도 이 방법은 표준 가정을 초월하여 더 단순하고 투명한 증명을 도출한다.
• 수렴의 확률적 수렴을 위한 지배 수렴 보조정리(보조정리 A3)와 같은 이론적 도구들이 반정적 모델에서의 확률적 적분과 린데베르그 유형 조건 분석을 단순화시킴을 입증한다.