[논문 리뷰] Simultaneous concentration of order statistics

Daniel J. Fresen|arXiv (Cornell University)|2011. 02. 06.

Bayesian Methods and Mixture Models참고 문헌 20인용 수 3

한 줄 요약

이 논문은 i.i.d. 표본의 모든 또는 대부분의 순서통계량이 그 이론적 분위수 주위에 동시에 집중할 조건을 규명함으로써 Glivenko-Cantelli 정리를 정교화한다. 초초기하 꼬리 감쇠는 모든 순서통계량의 균일한 집중을 보장하는 반면, 지수 꼬리 감쇠는 높은 확률로 대부분의 순서통계량이 집중함을 보여주며, 로그-볼록 분포(예: 정규분포 포함)에 대한 정량적 경계를 제공한다.

ABSTRACT

Let $μ$ be a probability measure on $\mathbb{R}$ with cumulative distribution function $F$, $(x_{i})_{1}^{n}$ a large i.i.d. sample from $μ$, and $F_{n}$ the associated empirical distribution function. The Glivenko-Cantelli theorem states that with probability 1, $F_{n}$ converges uniformly to $F$. In so doing it describes the macroscopic structure of $\{x_{i}\}_{1}^{n}$, however it is insensitive to the position of individual points. Indeed any subset of $o(n)$ points can be perturbed at will without disturbing the convergence. We provide several refinements of the Glivenko-Cantelli theorem which are sensitive not only to the global structure of the sample but also to individual points. Our main result provides conditions that guarantee simultaneous concentration of all order statistics. The example of main interest is the normal distribution.

연구 동기 및 목표

• 대규모 표본에서 순서통계량의 개별 또는 소수 집합에 대한 Glivenko-Cantelli 및 Donsker 정리의 민감도 부족 문제를 다루기.
• 이론적 분위수에서 모든 또는 대부분의 순서통계량의 편차를 동시에 제어하는 정교한 농도 부등식을 제공하기.
• 특히 꼬리 행동과 로그-볼록 분포에 초점을 맞춰 순서통계량이 균일하게 집중하는 조건을 규명하기.
• Gnedenko의 대수법칙을 극값 뿐 아니라 모든 순서통계량의 동시 제어로 확장하기.
• 역누적분포함수 및 꼬리 감쇠 속도의 성질을 통해 로그-볼록 분포(정규분포 포함)에 대한 정량적 경계를 제공하기.

제안 방법

• 역누적분포함수 $ F^{-1} $를 사용하여 균일 순서통계량 $ i/(n+1) $를 이론적 분위수 $ x_{(i)}^* $로 매핑한 후, 편차 $ |x_{(i)} - x_{(i)}^*| $를 경계화한다.
• 꼬리 감쇠 조건을 도입: 정리 1에선 $ \lim_{t\to\infty} \frac{1-F(t+\varepsilon)}{1-F(t)} = 0 $; 정리 2 및 3에선 $ \limsup < 1 $로, 빠른 감쇠를 보장한다.
• Dvoretzky-Kiefer-Wolfowitz 유형의 경계를 활용하여 경험과정 $ X_n(t) = \sqrt{n}(F_n(t) - F(t)) $ 를 통해 농도 부등식을 적용한다.
• 로그-볼록성으로 인해 $ F^{-1} $에 대해 리프시츠 타입의 경계를 도출하며, 특히 레미마 6 및 7을 통해 $ |F^{-1}(x) - F^{-1}(y)| $ 를 $ \log(x^{-1}y) $ 및 $ \log(1-x)^{-1} $ 와 연관시킨다.
• 꼬리 감쇠 조건을 메트릭 엔트로피 및 체이닝 추론과 결합하여 $ i \in \{1, \dots, n\} $ 전반에 걸친 편차를 제어하며, 특히 중심부 및 꼬리에서의 행동을 다룬다.
• 확률적 경계를 사용하여 $ \delta_n = \exp(-\max\{i: \kappa_i \leq n\}) $ 및 $ \omega_n \to \infty $ 를 정의함으로써 고확률 집중을 보장한다.

실험 결과

연구 질문

• RQ1 분포 $ \mu $ 에 어떤 조건이 성립할 경우 모든 순서통계량이 그 기대 분위수 주위에 동시에 집중하는가?
• RQ2 특히 초초기하 감쇠가 있는 경우, $ \mu $ 의 꼬리 행동이 모든 순서통계량의 균일한 집중에 어떤 영향을 미치는가?
• RQ3 꼬리 감쇠가 초초기하가 아닌 지수 수준일 경우, 대부분의 순서통계량이 고확률로 집중할 수 있는가?
• RQ4 역누적분포함수 및 꼬리 감쇠 속도에 기반해 로그-볼록 분포(예: 정규분포)에 대해 어떤 정량적 경계를 설정할 수 있는가?
• RQ5 기본적인 Glivenko-Cantelli 정리는 개별 순서통계량을 제어할 수 있도록 얼마나 강화될 수 있는가? (단지 경험과정이 아닌)

주요 결과

• 초초기하 꼬리를 가진 분포에 대해서는 정리 1이 모든 순서통계량의 균일한 집중을 보장한다: 확률 적어도 $ 1 - \delta_n $ 에서 $ \sup_{1 \leq i \leq n} |x_{(i)} - x_{(i)}^*| \leq \delta_n $, 여기서 $ \delta_n \to 0 $.
• 지수 꼬리 감쇠를 가진 분포에 대해서는 정리 2가 $ o(n) $ 이하의 순서통계량 제외한 나머지에 대해 집중을 보장한다: $ \sup_{\omega_n \leq i \leq n - \omega_n} |x_{(i)} - x_{(i)}^*| \leq \delta_n $, $ \delta_n \to 0 $ 이고 $ \omega_n \to \infty $.
• 정리 3은 모든 순서통계량에 대해 고확률 경계를 제공한다: $ \sup_{1 \leq i \leq n} |x_{(i)} - x_{(i)}^*| \leq kT $, 확률 적어도 $ 1 - 400T^{-1/2} $, 임의의 $ T > 10^6 $.
• 로그-볼록 분포에 대해서는 정리 4가 고확률로 $ |x_{(i)} - x_{(i)}^*| \leq c \frac{\log \log n}{(\log n)^{1 - 1/p}} $ 를 보장하며, $ i \leq n^{3/4} $ 및 $ i \geq n - n^{3/4} $ 에서 성립하고, 중심부에서는 $ n^{1/4} $-리프시츠 경계를 통해 균일 제어가 가능하다.
• 역누적분포함수 $ F^{-1} $ 가 $ p $-로그-볼록 측도에 대해 $ \theta_p $-거리에 대해 리프시츠임을 보였으며, 이는 메트릭 엔트로피 추론을 통해 균일 제어를 가능하게 한다.
• 결과적으로 Gnedenko의 대수법칙은 극값 뿐 아니라 모든 순서통계량의 동시 제어로 확장된다.