[논문 리뷰] Jackknife multiplier bootstrap: finite sample approximations to the $U$-process supremum with applications

Xiaohong Chen, Kengo Kato|arXiv (Cornell University)|2017. 08. 09.

Statistical Methods and Inference참고 문헌 53인용 수 5

한 줄 요약

이 논문은 일반적인 순서의 비퇴화 U-과정의 초과값에 대한 유한표본 근사화를 위한 새로운 잭나이프 승수 부트스트랩(JMB) 방법을 제안한다. 특히 전통적인 약한 수렴이 실패하는 설정에서 효과적이다. 저자들은 JMB에 대해 비점근적 결합 및 콜모고로프 거리 경계를 확립하여, 고차원 및 비정규 통계 문제에서 타당한 추론을 가능하게 한다.

ABSTRACT

This paper is concerned with finite sample approximations to the supremum of a non-degenerate $U$-process of a general order indexed by a function class. We are primarily interested in situations where the function class as well as the underlying distribution change with the sample size, and the $U$-process itself is not weakly convergent as a process. Such situations arise in a variety of modern statistical problems. We first consider Gaussian approximations, namely, approximate the $U$-process supremum by the supremum of a Gaussian process, and derive coupling and Kolmogorov distance bounds. Such Gaussian approximations are, however, not often directly applicable in statistical problems since the covariance function of the approximating Gaussian process is unknown. This motivates us to study bootstrap-type approximations to the $U$-process supremum. We propose a novel jackknife multiplier bootstrap (JMB) tailored to the $U$-process, and derive coupling and Kolmogorov distance bounds for the proposed JMB method. All these results are non-asymptotic, and established under fairly general conditions on function classes and underlying distributions. Key technical tools in the proofs are new local maximal inequalities for $U$-processes, which may be useful in other problems. We also discuss applications of the general approximation results to testing for qualitative features of nonparametric functions based on generalized local $U$-processes.

연구 동기 및 목표

• 기본 과정이 확률과정으로서 약한 수렴을 하지 않을 때, 비퇴화 U-과정의 초과값에 대한 유한표본 근사화 문제를 해결한다.
• 실제 응용에서 보조 가우시안 과정의 공분산 함수가 일반적으로 알려져 있지 않기 때문에, 가우시안 근사의 한계를 극복한다.
• 함수 클래스와 분포에 대한 일반 조건 하에서 유효한 비점근적 추론을 제공하는 U-과정 전용 부트스트랩 기법을 개발한다.
• 제안된 잭나이프 승수 부트스트랩(JMB) 방법에 대한 이론적 보증—결합 및 콜모고로프 거리 경계—를 확립한다.
• 일반화된 국소 U-과정을 활용하여 비모수 회귀 함수의 정성적 특성(예: 오목성, 단조성)을 검정할 수 있도록 한다.

제안 방법

• 일반적인 순서 r ≥ 2인 U-과정에 특화된 새로운 잭나이프 승수 부트스트랩(JMB) 절차를 제안한다.
• U-통계량의 의존성 구조를 반영하기 위해 잭나이프 기반 분산 추정기를 사용하여 승수 부트스트랩 통계량을 구성한다.
• 함수 클래스의 엔트로피와 복잡도를 제어하기 위한 주요 기법으로, U-과정에 대한 새로운 국소 최대부등식을 도출한다.
• 진짜 U-과정 초과값과 JMB 통계량 사이의 비점근적 결합 경계를 콜모고로프 거리 기준으로 확립한다.
• 비모수 회귀 함수의 정성적 특성(오목성, 볼록성, 단조성 등)을 검정하기 위해 JMB를 일반화된 국소 U-과정에 적용한다.
• 스트라센-드듈리 정리를 활용하여 결합 경계를 약한 수렴과 분포 근사화에 연결한다.

실험 결과

연구 질문

• RQ1 약한 수렴이 실패할 때, 비퇴화 U-과정의 초과값에 대해 타당한 유한표본 근사화를 제공하는 부트스트랩 방법을 개발할 수 있는가?
• RQ2 보조 가우시안 과정의 알려지지 않은 공분산 함수를 추정할 필요 없이, 부트스트랩 절차를 어떻게 구성할 수 있는가?
• RQ3 시간에 따라 변화하거나 복잡도가 높은 함수 클래스에 적용된 부트스트랩 방법에 대해 어떤 비점근적 이론적 보증을 확립할 수 있는가?
• RQ4 제안된 방법을 고차원 또는 비정규 설정에서 비모수 회귀 함수의 정성적 특성(예: 오목성, 단조성) 검정에 적용할 수 있는가?
• RQ5 잭나이프 승수 부트스트랩이 광범위한 함수 클래스와 분포에 걸쳐 균일한 근사 정확도를 달성할 수 있는 조건는 무엇인가?

주요 결과

• 제안된 잭나이프 승수 부트스트랩(JMB)은 과정이 약한 수렴을 하지 않더라도 U-과정 초과값에 대해 비점근적 결합 및 콜모고로프 거리 경계를 달성한다.
• 보조 가우시안 과정의 공분산 함수를 알 필요 없이도, U-과정 초과값에 대해 타당한 유한표본 추론을 제공한다.
• U-과정에 대한 새로운 국소 최대부등식이 도출되었으며, 이는 이론 분석의 기초 도구로 기능한다.
• JMB 방법은 일반화된 국소 U-과정에 적용 가능하여, 비모수 회귀에서 오목성 및 단조성 등의 정성적 특성을 검정하는 데 기여한다.
• 함수 클래스와 기본 분포에 대한 일반 조건 하에서 이론적 경계가 확립되었으며, 함수 클래스가 표본 크기에 따라 달라지는 경우도 포함된다.
• 결과는 다중 척도 검정 절차로 확장되며, 4.1절의 밴드폭에 관계없이 균일한 결과는 덤벤의(2002) 순위 기반 검정과 유사한 다중 척도 추론의 이론적 기초를 제공한다.