[논문 리뷰] Change-point in stochastic design regression and the bootstrap

Emilio Seijo, Bodhisattva Sen|arXiv (Cornell University)|2011. 01. 05.

Statistical Methods and Inference참고 문헌 26인용 수 4

한 줄 요약

이 논문은 표준 부트스트랩 방법이 비표준 점근적 성질로 인해 실패하는 스토하스틱 디자인 회귀에서 변화점에 대한 타당한 신뢰구간을 구축하기 위해 부드럽게 처리된 부트스트랩과 m-out-of-n 부트스트랩 절차를 제안한다. 이 방법들의 일致성을 증명하고, 점프 불연속성이 있는 비정규 모델에서의 부트스트랩 타당성을 위한 이론적 조건을 제공한다.

ABSTRACT

In this paper we study the consistency of different bootstrap procedures for constructing confidence intervals (CIs) for the unique jump discontinuity (change-point) in an otherwise smooth regression function in a stochastic design setting. This problem exhibits nonstandard asymptotics and we argue that the standard bootstrap procedures in regression fail to provide valid confidence intervals for the change-point. We propose a version of smoothed bootstrap, illustrate its remarkable finite sample performance in our simulation study, and prove the consistency of the procedure. The $m$ out of $n$ bootstrap procedure is also considered and shown to be consistent. We also provide sufficient conditions for any bootstrap procedure to be consistent in this scenario.

연구 동기 및 목표

• 비표준 점근적 성질 하에서 표준 부트스트랩 절차(예: 페어스 부트스트랩 및 잔차 부트스트랩)가 변화점 추정에서 일관성이 없음을 해결하기 위해.
• 신뢰구간 구축을 위한 점근적 일관성을 보장하는 부드러운 부트스트랩 절차를 개발하고 검증하기 위해.
• 점프 불연속성이 있는 비정규 모델에서 부트스트랩 일관성을 위한 일반적인 충분조건을 설정하기 위해.
• 특히 argmax 매핑 설정에서 혼합 연속성 특성을 가진 확률과정의 약한 수렴을 위한 이론적 도구를 확장하기 위해.

제안 방법

• 설계 변수 Z의 부드러운 커널 밀도 추정치와 잔차의 중심화된 경험분포로부터 독립적으로 샘플링하는 부드러운 부트스트랩을 제안한다.
• 원본 데이터에서 중복 없이 샘플링하는 m-out-of-n 부트스트랩을 사용하며, 여기서 m < n 이다. 이는 변화점 추정량의 점근적 분포를 안정화시킨다.
• 두 개의 변수에 대해 연속이고 세 번째 변수에 대해 càdlàg인 확률과정에 적용 가능한 일반화된 argmax 연속 매핑 정리를 적용하여 약한 수렴 분석을 가능하게 한다.
• 삼각형 배열 점근적 방법을 사용하여 Kosorok(2008b)의 수렴 결과를 i.i.d. 가정이 아닌 랜덤 디자인 설정으로 일반화한다.
• 불연속성을 가진 함수로 색인화된 경험과정의 약한 수렴을 도출하며, 균일 적분 가능성과 엔트로피 조건에 의존한다.
• 경험과정의 약한 수렴과 변화점 주변 이웃에서 오차 항목의 균일한 제어를 통해 부트스트랩 절차의 일관성을 검증한다.

실험 결과

연구 질문

• RQ1 왜 표준 부트스트랩 방법은 스토하스틱 디자인 회귀에서 변화점에 대한 타당한 신뢰구간을 제공하지 못하는가?
• RQ2 불연속성과 비i.i.d. 디자인으로 인한 비표준 점근적 성질이 존재하는 상황에서 부드러운 부트스트랩 절차가 일관성을 달성할 수 있는가?
• RQ3 어떤 일반 조건이 점프 불연속성이 있는 비정규 모델에서 어떤 부트스트랩 절차의 일관성을 보장하는가?
• RQ4 세 변수에 대해 혼합 연속성 특성을 가진 과정을 다룰 수 있도록 argmax 연속 매핑 정리를 어떻게 확장할 수 있는가?
• RQ5 제안된 부트스트랩 방법은 변화점이 있는 비모수적 또는 준모수적 모델으로 얼마나 일반화될 수 있는가?

주요 결과

• 비표준 점근적 성질로 인해 부트스트랩 과정에서 약한 극한이 존재하지 않기 때문에, 표준 비모수적 부트스트랩(페어스 부트스트랩)과 잔차 부트스트랩은 변화점 추정에서 일관성이 없다.
• 제안된 부드러운 부트스트랩 절차는 점근적 일관성을 달성하며, 시뮬레이션 연구에서 뛰어난 유한표본 성능을 보였다.
• m = o(n) 조건을 만족하는 m-out-of-n 부트스트랩은 설계 밀도와 오차 분포에 대한 온건한 정규성 조건 하에서 일관성이 있음을 입증하였다.
• 두 변수에 대해 연속이고 세 번째 변수에 대해 càdlàg인 과정에 대해 적용 가능한 일반화된 argmax 연속 매핑 정리를 확립하여, 비정규 모델에서 부트스트랩 추정량의 분석을 가능하게 하였다.
• 부드러운 부트스트랩 일관성을 위한 충분조건를 도출하였으며, 이는 균일 적분 가능성과 제어된 엔트로피를 가진 함수 클래스에서 경험과정의 수렴을 포함한다.
• 이론적 결과는 변화점이 있는 비모수적 회귀 모델로 확장되었으며, 제안된 방법은 생존 분석과 적응형 샘플링에서의 이단계 절차에 직접 적용 가능하다.