[论文解读] A Note on Concentration Inequalities for U-Statistics

Yannik Pitcan|arXiv (Cornell University)|Dec 17, 2017

Point processes and geometric inequalities参考文献 3被引用 7

一句话总结

本文提供了对U统计量的经典集中不等式——Hoeffding与Bernstein不等式——的显式推导，展示了如何通过对称和表示诱导独立性，以应用标准的矩界。在$P$-退化条件下，建立了更优的$O(n^{-m/2})$收敛速率，优于经典的$O(n^{-1/2})$速率，并讨论了在重尾核函数下使用中位数-均值估计器等稳健替代方法。

ABSTRACT

The aim of this paper is to discuss various concentration inequalities for U-statistics and most recent results. A special focus will be on providing proofs for bounds on the U-statistics using classical concentration inequalities, which, although the results well known, the proofs are not found in the literature.

研究动机与目标

• 提供U统计量经典集中不等式的可访问、自包含证明，这些内容在现有文献中往往零散或缺失。
• 阐明通过对称和分解诱导U统计量中独立性的机制，以实现标准集中不等式的应用。
• 比较在退化假设下经典界与近期改进结果，并讨论稳健性与尾部行为之间的权衡。
• 考察去耦合与中位数-均值估计器在无有界性假设下实现稳健集中性的作用。

提出的方法

• 将U统计量表示为i.i.d.样本所有排列的平均值，从而将其分解为独立块的对称和形式。
• 通过将每个块视为独立的随机变量，对块平均的U统计量应用Hoeffding与Bernstein不等式。
• 对指数矩使用Jensen不等式与Markov不等式，通过矩生成函数界尾部概率。
• 使用一个关键引理，通过个体矩生成函数界凸组合的尾部概率。
• 引入去耦合技术，将依赖的二次型替换为独立的双线性形式，从而在退化条件下改善集中性。
• 采用块平均U统计量的中位数-均值估计器，以在无有界性假设下实现重尾核函数下的稳健性。

实验结果

研究问题

• RQ1 尽管U统计量项之间存在固有依赖性，如何严格地将经典的集中不等式（如Hoeffding与Bernstein）应用于U统计量？
• RQ2 在$P$-退化条件下，U统计量的精确集中速率是多少？与经典的$n^{-1/2}$速率相比如何？
• RQ3 去耦合论证在何种程度上改善了退化U统计量的集中界？
• RQ4 在重尾核函数存在时，中位数-均值估计器为何优于标准U统计量？
• RQ5 在U统计量集中性中，有界性假设、退化性与稳健性之间存在何种权衡？

主要发现

• 本文通过使用对称和分解与矩生成函数技术，推导出U统计量的Hoeffding型界，得到$P(|U_n(h) - m_h| > t) \leq 2\exp\big(-c n t^2 / \|h\|_{\infty}^2\big)$，其中$c$依赖于$m$。
• 在$P$-退化阶为$m-1$的条件下，本文证明了$O(n^{-m/2})$的更快集中速率，显著优于经典的$O(n^{-1/2})$速率。
• 对于规范核函数，Arcones与Giné的结果表明$P(|U_n(h) - m_h| \geq c_1 \|h\|_{\infty} (\log(c_2/\delta)/n)^{m/2}) \leq \delta$，确认了改进的速率。
• 中位数-均值估计器在重尾分布下实现$O(\sqrt{\log(1/\delta)/n})$的误差，且无需有界性假设即可保持稳健性。
• 当核函数为阶$m-1$的退化时，中位数-均值U统计量实现了与标准U统计量相同的$O(n^{-m/2})$速率，但无需有界性假设。
• 去耦合论证（如将$\langle AX, X \rangle$替换为$\langle AX, X' \rangle$）通过降低依赖性，使退化条件下的集中界更紧。