[論文レビュー] Simultaneous concentration of order statistics

Daniel J. Fresen|arXiv (Cornell University)|Feb 6, 2011

Bayesian Methods and Mixture Models参考文献 20被引用数 3

ひとこと要約

この論文は、i.i.d.標本のすべてまたは大多数の順序統計量が同時にその期待値分位数のまわりに集中する条件を確立することで、Glivenko-Cantelli定理を精緻化している。超指数的尾部減衰がすべての順序統計量の一様集中を保証するのに対し、指数的尾部減衰では高確率で大多数の順序統計量が集中し、対数凹型分布（正規分布を含む）に対して定量的バウンドを提供する。

ABSTRACT

Let $μ$ be a probability measure on $\mathbb{R}$ with cumulative distribution function $F$, $(x_{i})_{1}^{n}$ a large i.i.d. sample from $μ$, and $F_{n}$ the associated empirical distribution function. The Glivenko-Cantelli theorem states that with probability 1, $F_{n}$ converges uniformly to $F$. In so doing it describes the macroscopic structure of $\{x_{i}\}_{1}^{n}$, however it is insensitive to the position of individual points. Indeed any subset of $o(n)$ points can be perturbed at will without disturbing the convergence. We provide several refinements of the Glivenko-Cantelli theorem which are sensitive not only to the global structure of the sample but also to individual points. Our main result provides conditions that guarantee simultaneous concentration of all order statistics. The example of main interest is the normal distribution.

研究の動機と目的

• 大標本におけるGlivenko-Cantelli定理およびDonskerの定理が、個々の順序統計量や小さな部分集合に対して感受性を欠いていることに対処する。
• すべてまたは大多数の順序統計量が同時に理論的分位数から逸脱するのを制御する、精緻化された集中不等式を提供する。
• 特に尾部の挙動と対数凹型分布に注目して、順序統計量が一様に集中する条件を特定する。
• 極値のみでなく、すべての順序統計量を同時に制御するという点で、Gnedenkoの大数の法則を拡張する。
• 逆累積分布関数および尾部減衰率の性質を用いて、対数凹型分布（正規分布を含む）に対して定量的バウンドを提示する。

提案手法

• 一様順序統計量 $ i/(n+1) $ を理論的分位数 $ x_{(i)}^* $ に写像する逆累積分布関数 $ F^{-1} $ を用い、その乖離 $ |x_{(i)} - x_{(i)}^*| $ をバウンドする。
• 尾部減衰条件を導入：定理1では $ \lim_{t\to\infty} \frac{1-F(t+\varepsilon)}{1-F(t)} = 0 $；定理2および3では $ \limsup < 1 $ であり、急速な減衰を保証する。
• Dvoretzky-Kiefer-Wolfowitz型のバウンドを用いて、経験過程 $ X_n(t) = \sqrt{n}(F_n(t) - F(t)) $ を介して集中不等式を適用する。
• 対数凹型性を用いて、特に補題6および補題7を介して、$ |F^{-1}(x) - F^{-1}(y)| $ を $ \log(x^{-1}y) $ および $ \log(1-x)^{-1} $ に関連づけるリプシッツ型バウンドを導出する。
• 尾部減衰条件とメトリックエントロピーおよびチェインジングの議論を組み合わせ、特にボディ部および尾部においてすべての $ i \in \{1, \dots, n\} $ における乖離を制御する。
• 高確率集中を保証するため、$ \delta_n = \exp(-\max\{i: \kappa_i \leq n\}) $ および $ \omega_n \to \infty $ を含む確率的バウンドを用いる。

実験結果

リサーチクエスチョン

• RQ1 分布 $ \mu $ に対して、すべての順序統計量が同時にその期待値分位数のまわりに集中する条件は何か？
• RQ2 特に超指数的減衰である場合、$ \mu $ の尾部挙動がすべての順序統計量の一様集中にどのように影響するか？
• RQ3 尾部減衰が超指数的ではなく指数的である場合でも、大多数の順序統計量が高確率で集中するようにできるか？
• RQ4 逆累積分布関数および尾部減衰の観点から、対数凹型分布（正規分布を含む）に対してどのような定量的バウンドを確立できるか？
• RQ5 古典的なGlivenko-Cantelli定理は、経験過程のみを制御するのではなく、個々の順序統計量を制御する点でどの程度強化できるか？

主な発見

• 超指数的尾部を持つ分布に対しては、定理1によりすべての順序統計量が一様に集中することが保証される：確率 $ 1 - \delta_n $ で $ \sup_{1 \leq i \leq n} |x_{(i)} - x_{(i)}^*| \leq \delta_n $ が成り立ち、$ \delta_n \to 0 $ である。
• 指数的尾部減衰を持つ分布に対しては、定理2によりすべての順序統計量（$ o(n) $ 個を除く）が集中する：$ \sup_{\omega_n \leq i \leq n - \omega_n} |x_{(i)} - x_{(i)}^*| \leq \delta_n $ で、$ \delta_n \to 0 $ かつ $ \omega_n \to \infty $ である。
• 定理3は、すべての順序統計量に対して高確率バウンドを提供する：任意の $ T > 10^6 $ に対して、確率 $ 1 - 400T^{-1/2} $ で $ \sup_{1 \leq i \leq n} |x_{(i)} - x_{(i)}^*| \leq kT $ が成り立つ。
• 対数凹型分布に対しては、定理4により高確率で $ |x_{(i)} - x_{(i)}^*| \leq c \frac{\log \log n}{(\log n)^{1 - 1/p}} $ が $ i \leq n^{3/4} $ および $ i \geq n - n^{3/4} $ に対して成り立ち、ボディ部では $ n^{1/4} $-リプシッツバウンドによる一様制御が可能である。
• 逆累積分布関数 $ F^{-1} $ が $ p $-対数凹型測度の $ \theta_p $-距離に関してリプシッツであることが示され、メトリックエントロピーの議論を用いて一様制御が可能になる。
• 結果は、極値のみでなくすべての順序統計量を同時に制御する点で、Gnedenkoの大数の法則を拡張する。