[论文解读] An extension of McDiarmid's inequality

Richard Combes|arXiv (Cornell University)|Nov 17, 2015

Mathematical and Theoretical Analysis被引用 6

一句话总结

本文将McDiarmid不等式推广至仅在高概率子集上具有有界差值的函数，而非在整个定义域上。通过构造函数的Lipschitz扩展并对其应用浓度不等式，作者推导出一个界，表明原函数在给定子集条件下的条件期望附近集中，其中包含一个与子集概率和直径相关的修正项。关键结果将集中性推广至度量空间，并处理了子集外的任意行为。

ABSTRACT

We generalize McDiarmid's inequality for functions with bounded differences on a high probability set, using an extension argument. Those functions concentrate around their conditional expectations. We further extend the results to concentration in general metric spaces.

研究动机与目标

• 解决McDiarmid不等式在有界差值仅在高概率子集上成立而非处处成立时的局限性。
• 为在高概率集外可能无界或不规则的函数建立集中性界。
• 通过Lipschitz扩展技术，将有界差值框架推广至一般度量空间。
• 提供一个更紧致且鲁棒的集中不等式，考虑子集的概率和度量结构。

提出的方法

• 定义一个在高概率子集 Y ⊂ X 上具有 c-有界差值的函数，其中差值仅在输入在除一个坐标外其余坐标均相同时有界。
• 使用加权汉明距离 d_c 构造Lipschitz扩展 g(x) = inf_{y∈Y} {f(y) + d_c(x,y)}，确保 g 关于 d_c 是 1-Lipschitz 的。
• 利用全概率公式，将尾概率 P[f(X) - E[f(X)|X∈Y] ≥ ε + p·c̄] 分解为 X∈Y 和 X∉Y 两部分。
• 对具有全有界差值的扩展函数 g 应用McDiarmid不等式，得到指数尾部界。
• 通过耦合论证和条件分布之间的Wasserstein距离，界定了 g 的期望，从而导出包含 p 和空间直径的修正项。
• 通过将加权汉明距离替换为一般度量 d，并使用相同的扩展和耦合技术，将结果推广至任意度量空间。

实验结果

研究问题

• RQ1 McDiarmid不等式能否推广至有界差值性质仅在高概率子集上成立的函数？
• RQ2 在这些情况下，函数是否仍围绕其条件期望而非无条件期望集中？
• RQ3 当函数在高概率集外为任意形式时，如何量化集中界？
• RQ4 该框架能否超越乘积空间推广至任意度量空间？
• RQ5 子集的概率和度量结构在决定集中速率中起什么作用？

主要发现

• 当有界差值在高概率集 Y 上成立时，函数 f 围绕其条件期望 E[f(X)|X∈Y] 集中，而非围绕 E[f(X)]。
• 主要界为 P[f(X) - E[f(X)|X∈Y] ≥ ε + p·c̄] ≤ p + exp( -2ε² / ∑c_i² )，其中 p = P[X∉Y] 且 c̄ = ∑c_i。
• 修正项 p·c̄ 反映了 f 在 Y 外的行为，而指数项捕捉了在 Y 内的集中性。
• 在典型情形下，若 p = a^{-n} 且 c_i = b/n，则指数部分与McDiarmid原始界一致，保持紧致性。
• 通过将加权汉明距离替换为一般度量 d，并在修正项中使用Wasserstein距离，结果可推广至一般度量空间。
• 只要 p 较小且度量结构受控，即使 f 在 Y 外无界，该界仍非平凡。