[논문 리뷰] Bootstrap-Based Inference for Cube Root Asymptotics

Matias D. Cattaneo, Michael Jansson외 1명|arXiv (Cornell University)|2017. 04. 26.

Statistical Methods and Inference참고 문헌 3인용 수 5

한 줄 요약

이 논문은 표준 비모수 부트스트랩이 실패하는 큐브 루트 점근적 성질을 가진 M-추정량에 대해 일관된 부트스트랩 방법을 제안한다. 이는 기준 함수를 재구성하여 부트스트랩 경험과정의 평균이 그 모집단 대응체와 유사하도록 보장함으로써, 일관성을 복원한다. 이 방법은 핵심 행렬의 일관된 추정량을 사용한 이차 평균 보정을 통해 비정규, 비표준 점근 설정에서 유효한 추론을 가능하게 한다. 이는 경제학 및 머신러닝에서 흔한 상황이다.

ABSTRACT

This paper proposes a valid bootstrap-based distributional approximation for M-estimators exhibiting a Chernoff (1964)-type limiting distribution. For estimators of this kind, the standard nonparametric bootstrap is inconsistent. The method proposed herein is based on the nonparametric bootstrap, but restores consistency by altering the shape of the criterion function defining the estimator whose distribution we seek to approximate. This modification leads to a generic and easy-to-implement resampling method for inference that is conceptually distinct from other available distributional approximations. We illustrate the applicability of our results with four examples in econometrics and machine learning.

연구 동기 및 목표

• 큐브 루트 점근적 성질을 가진 M-추정량의 추론에서 표준 비모수 부트스트랩의 일관성 부족 문제를 해결한다.
• 이러한 모델에서 극한 분포가 무한차원의 부수적 매개변수에 의존하기 때문에 추론이 복잡해지는 문제를 극복한다.
• 체르노프 유형의 극한 분포에서 부트스트랩 일관성을 복원하는 일반적이고 쉽게 구현 가능한 재표본화 방법을 개발한다.
• 비표준 수렴 속도가 존재하는 설정에서 서브샘플링 및 기타 m-out-of-n 부트스트랩 방법에 대한 이론적으로 타당한 대안을 제공한다.
• 최대 스코어 추정, 이소톤릭 밀도 추정, 고차원 분류 모델 등 응용 분야에서 실용적인 추론을 가능하게 한다.

제안 방법

• M-추정량을 정의하는 원래 기준 함수를 수정하여, 부트스트랩 경험과정의 평균이 모집단 평균을 근사하도록 보장한다.
• 핵심 행렬 H₀의 일관된 추정량을 사용해 평균의 이차 성분을 보정한 재구성된 경험과정을 도입한다.
• 경험분포함수에서 크기 n의 재표본을 사용한 비모수 부트스트랩을 적용한다.
• 부트스트랩 과정의 평균을 모집단 과정의 이차형태와 일치시킴으로써, 추정량의 부트스트랩 분포가 약한 수렴을 통해 진짜 극한 분포로 수렴하도록 보장한다.
• argmax 연속성 정리와 컴acta 위에서의 균일 수렴 위상에서의 약한 수렴을 활용하여 점근적 타당성을 확립한다.
• Pollard(1989)의 최대부등식을 활용해 유한차원 사영의 확률적 등연속성과 조건부 약한 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 표준 비모수 부트스트랩이 실패하는 큐브 루트 점근적 성질을 가진 M-추정량에 대해 일관된 부트스트랩을 구성할 수 있는가?
• RQ2 부트스트랩 세계의 경험과정이 모집단 과정의 평균 구조를 어떻게 모방하도록 부트스트랩을 수정할 수 있는가?
• RQ3 재구성된 부트스트랩 기준 함수가 부트스트랩 분포가 진짜 극한 분포로 약한 수렴하는 데 필요한 조건은 무엇인가?
• RQ4 제안된 방법은 어떤 경제학 및 머신러닝 모델에서 표준 부트스트랩이 실패하는 상황에서 일관된 추론을 가능하게 하는가?
• RQ5 기존의 대안인 서브샘플링 또는 m-out-of-n 부트스트랩에 비해 유한표본 성능과 구현 용이성 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 부트스트랩 방법은 기준 함수를 재구성함으로써 부트스트랩 경험과정의 평균을 그 모집단 대응체와 일치시킴으로써 큐브 루트 점근적 성질을 가진 M-추정량에 대해 일관성을 달성한다.
• 핵심 행렬 H₀의 일관된 추정량에 의존하는 이차 보정 항을 통해 일관성이 복원되며, 이는 경험과정의 이차 평균을 지배한다.
• 부트스트랩 분포는 컴팩트라에서의 균일 수렴 위상에서 진짜 극한 분포로 약한 수렴을 보이며, 이는 유효한 추론을 보장한다.
• 이 방법은 일반적이고 쉽게 구현 가능하며, 오직 행렬 H₀의 일관된 추정량이 있으면 되며, 이는 실무에서 일반적으로 확보 가능하다.
• 확률적 등연속성과 유한차원 사영의 조건부 약한 수렴 등의 표준 정규성 조건 하에서 이론적으로 타당하다.
• 이 방법은 최대 스코어 추정, 이소톤릭 밀도 추정, 형태 제약 조건 하의 고차원 M-추정 등 광범위한 모델 클래스에 적용 가능하다.