[논문 리뷰] Convergence of the empirical process in Mallows distance, with an application to bootstrap performance

Richard J. Samworth, Oliver Johnson|ArXiv.org|2004. 06. 29.

Statistical Methods and Inference참고 문헌 14인용 수 9

한 줄 요약

이 논문은 경험분포와 진짜 모집단 분포 사이의 말로우스 거리의 수렴 속도를 규명하며, 고장 함수의 영향으로 인해 이산 설정에서는 수렴 속도가 느려짐을 보여준다. 이를 부트스트랩 추론에 적용하여 말로우스 거리가 표본 평균의 부트스트랩 오차에 대한 날카운 상한과 하한을 제공함을 증명한다. 이는 모멘트 조건에 따라 다른 수렴 속도를 가진다.

ABSTRACT

We study the rate of convergence of the Mallows distance between the empirical distribution of a sample and the underlying population. The surprising feature of our results is that the convergence rate is slower in the discrete case than in the absolutely continuous setting. We show how the hazard function plays a significant role in these calculations. As an application, we recall that the quantity studied provides an upper bound on the distance between the bootstrap distribution of a sample mean and its true sampling distribution. Moreover, the convenient properties of the Mallows metric yield a straightforward lower bound, and therefore a relatively precise description of the asymptotic performance of the bootstrap in this problem.

연구 동기 및 목표

• 경험분포함수와 진짜 분포함수 사이의 말로우스 거리 수렴 속도를 결정하는 것.
• 고장 함수가 수렴 속도에 미치는 영향을 분석하며, 특히 이산 분포와 연속 분포에서의 영향을 조사하는 것.
• 비모수 부트스트랩이 표본 평균의 표본분포를 추정하는 데 성능을 평가하기 위해 결과를 적용하는 것.
• 말로우스 거리 척도를 사용하여 표본 평균의 부트스트랩 분포와 진짜 표본분포 사이의 엄밀한 상한과 하한을 유도하는 것.

제안 방법

• 경험분포와 진짜 분포 사이의 이질성 측정을 위해 $ L^2 $-와서르슈타인 거리로 정의된 말로우스 거리 $ d_2 $ 를 사용한다.
• 역누적분포함수 변환을 적용하여 $ d_2(F,G) $ 를 분位수 함수의 $ L^2 $-노름으로 표현한다: $ d_2(F,G) = \left( \int_0^1 |F^{-1}(p) - G^{-1}(p)|^2 dp \right)^{1/2} $.
• 경험과정 이론에서의 가측성 문제를 다루기 위해 스코로호드 공간 $ D[0,1] $ 과 그의 볼 $ \sigma $-대수 위에서의 약한 수렴을 사용한다.
• 빅켈과 프리드먼(1981) 및 존슨과 사모스(2004)의 결과를 적용하여 $ d_2(\hat{F}_n, F) $ 를 통해 부트스트랩 오차를 경계한다.
• 모멘트 조건과 반복로그 로그 법칙을 사용하여 하중 꼬리 분포에 대해 부트스트랩 오차의 하한을 도출한다.
• 삼각부등식과 모멘트 기반 부등식을 사용하여 $ d_2(H_n(\hat{F}_n), H_n(F)) \leq d_2(\hat{F}_n, F) $ 를 보이며, 경험과정의 수렴과 부트스트랩 정확도를 연결한다.

실험 결과

연구 질문

• RQ1 이산 케이스에서 경험분포 $ \hat{F}_n $ 과 진짜 분포 $ F $ 사이의 말로우스 거리 $ d_2(\hat{F}_n, F) $ 의 수렴 속도는 무엇인가?
• RQ2 고장 함수는 말로우스 척도에서 경험과정의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 어떤 모멘트 조건 하에서 표본 평균의 부트스트랩 분포가 경험과정의 수렴 속도와 일치하는 속도로 진짜 표본분포로 수렴하는가?
• RQ4 표본 평균의 부트스트랩 분포와 진짜 표본분포 사이의 말로우스 거리에 대해 날카운 상한과 하한을 도출할 수 있는가?

주요 결과

• 유한 지지가 있는 이산 케이스에서는 $ n^{1/4} d_2(\hat{F}_n, F) $ 가 비퇴화한 극한 분포로 수렴하는 반면, 연속 케이스에서는 $ n^{1/2} $ 정규화가 사용된다.
• 고장 함수는 수렴 속도를 결정하는 데 핵심적인 역할을 하며, 델 바리오 등(2000)의 한 꼬리 조건은 이 프레임워크 하에서 중복된다.
• 말로우스 거리 $ d_2(\hat{F}_n, F) $ 는 표본 평균의 부트스트랩 오차에 대한 상한을 제공한다. 즉, $ d_2(H_n(\hat{F}_n), H_n(F)) \leq d_2(\hat{F}_n, F) $ 이다.
• 유한한 네 번째 모멘트 조건 하에서 $ n^{1/2} d_2(H_n(\hat{F}_n), H_n(F)) $ 는 확률적으로 0에서 벗어나며, 이는 부트스트랩 오차가 $ n^{-1/2} $ 속도로 사라지지 않음을 시사한다.
• $ \mathbb{E}|X_1|^{2+\delta} = \infty $ 이고 $ \delta \in (0,2) $ 일 때, $ n^{\delta/(2+\delta)} d_2(H_n(\hat{F}_n), H_n(F)) $ 는 거의 확실히 0으로 수렴하지 않으며, 이는 더 느린 수렴을 보임을 보여준다.
• 모멘트 조건과 수렴 속도 조건이 모두 만족될 경우, 부트스트랩 오차의 상한과 하한은 동일한 순서이므로 부트스트랩 성능을 정밀하게 기술할 수 있다.