[论文解读] Concentration in unbounded metric spaces and algorithmic stability

Aryeh Kontorovich|arXiv (Cornell University)|Sep 4, 2013

Markov Chains and Monte Carlo Methods参考文献 52被引用 40

一句话总结

本文引入了子高斯直径——一种依赖于分布的度量直径改进——以将McDiarmid不等式推广至无界度量空间。该方法使无界度量空间中Lipschitz函数的维数无关浓度界成为可能，即使度量直径为无穷大时亦成立，从而首次实现了算法稳定性中无界损失函数的泛化界。

ABSTRACT

We prove an extension of McDiarmid's inequality for metric spaces with unbounded diameter. To this end, we introduce the notion of the {\em subgaussian diameter}, which is a distribution-dependent refinement of the metric diameter. Our technique provides an alternative approach to that of Kutin and Niyogi's method of weakly difference-bounded functions, and yields nontrivial, dimension-free results in some interesting cases where the former does not. As an application, we give apparently the first generalization bound in the algorithmic stability setting that holds for unbounded loss functions. We furthermore extend our concentration inequality to strongly mixing processes.

研究动机与目标

• 解决McDiarmid不等式在度量直径为无穷大的无界度量空间中应用受限的问题。
• 通过引入依赖于分布的改进，克服浓度不等式中对有界差异条件的限制。
• 为算法稳定性提供一种新框架，适用于无界损失函数，而此前的方法在此类情况下失效。
• 将浓度结果推广至非独立同分布过程及其他Orlicz范数（超越次高斯尾部）。
• 建立一个理论基础坚实的替代方法，以替代Kutin-Niyogi方法，避免过于复杂的条件，并提供更紧致、更通用的界。

提出的方法

• 将度量概率空间的子高斯直径ΔSG(X)定义为最小的a > 0，使得对称化距离Ξ(X)满足：对所有λ，有E[exp(λΞ(X))] ≤ exp(a²λ²/2)。
• 基于鞅论证并使用Doob分解，推导出基于子高斯直径的浓度不等式。
• 证明：对于乘积空间上的1-Lipschitz函数φ，有P(|φ − Eφ| > t) ≤ 2exp(−t²/(2∑ΔSG²(Xi)))，从而推广McDiarmid不等式。
• 通过引入带校正项τ̄i的修正鞅差序列，将结果推广至强混合过程。
• 利用Young函数ψp(x) = e^{|x|^p} − 1，将界推广至Orlicz范数，得到指数为p/(p−1)的尾部界。
• 证明：即使度量直径为无穷大，子高斯直径ΔSG(X)仍可为有限值，从而在无界设定下实现非平凡的浓度。

实验结果

研究问题

• RQ1 能否在不依赖有界差异条件的前提下，将浓度不等式推广至无界度量空间？
• RQ2 子高斯直径是否为Lipschitz函数子高斯浓度的充分且依赖于分布的条件？
• RQ3 所提出的方法与Kutin-Niyogi方法相比，在通用性与适用性方面有何差异？
• RQ4 该框架能否为无界损失函数的算法稳定性提供非平凡的泛化界？
• RQ5 子高斯直径与k-NN或核SVM等学习算法的稳定性之间存在何种关系？

主要发现

• 即使度量直径为无穷大，子高斯直径ΔSG(X)仍为有限值，从而在无界度量空间中实现浓度。
• 对于乘积空间上的1-Lipschitz函数，浓度不等式P(|φ − Eφ| > t) ≤ 2exp(−t²/(2∑ΔSG²(Xi)))成立，从而推广了McDiarmid不等式。
• 该方法首次在算法稳定性中为无界损失函数提供了泛化界，克服了先前方法的关键局限。
• 通过引入考虑混合性的校正项τ̄i，该界可推广至非独立同分布过程。
• 对于Orlicz范数ψp(x) = e^{|x|^p} − 1，尾部界变为P(|φ − Eφ| > t) ≤ 2exp(−(p−1)/p ⋅ (t/||Δ||p)^{p/(p−1)})，从而推广了次高斯结果。
• 子高斯直径严格强于有界差异条件，如示例所示：前者为有限值而后者不是。