[论文解读] Generalization Bounds for Uniformly Stable Algorithms

Vitaly Feldman, J. Vondrák|arXiv (Cornell University)|Dec 24, 2018

Sparse and Compressive Sensing Techniques被引用 33

一句话总结

本文通过引入更紧致的高概率和二阶矩界，显著改进了统一稳定学习算法的泛化界。证明了在高概率下，泛化误差被界于 $ O(\sqrt{( au + 1/n)\log(1/\delta)}) $ 之内，且在期望下为 $ O(\gamma^2 + 1/n) $，相较于以往分别存在 $ \sqrt{n} $ 因子偏差和在 $ \gamma $ 上二次失真的界，实现了显著改进。

ABSTRACT

Uniform stability of a learning algorithm is a classical notion of algorithmic stability introduced to derive high-probability bounds on the generalization error (Bousquet and Elisseeff, 2002). Specifically, for a loss function with range bounded in $[0,1]$, the generalization error of a $γ$-uniformly stable learning algorithm on $n$ samples is known to be within $O((γ+1/n) \sqrt{n \log(1/δ)})$ of the empirical error with probability at least $1-δ$. Unfortunately, this bound does not lead to meaningful generalization bounds in many common settings where $γ\geq 1/\sqrt{n}$. At the same time the bound is known to be tight only when $γ= O(1/n)$. We substantially improve generalization bounds for uniformly stable algorithms without making any additional assumptions. First, we show that the bound in this setting is $O(\sqrt{(γ+ 1/n) \log(1/δ)})$ with probability at least $1-δ$. In addition, we prove a tight bound of $O(γ^2 + 1/n)$ on the second moment of the estimation error. The best previous bound on the second moment is $O(γ+ 1/n)$. Our proofs are based on new analysis techniques and our results imply substantially stronger generalization guarantees for several well-studied algorithms.

研究动机与目标

• 解决当稳定性参数 $ \gamma \geq 1/\sqrt{n} $ 时，现有统一稳定算法高概率泛化界失效的问题，此时先前的界变得无意义。
• 通过提出一个新高概率界 $ \sqrt{(\gamma + 1/n)\log(1/\delta)} $，弥合已知上界与紧致性结果之间的差距，该界相比经典界 $ O((\gamma + 1/n)\sqrt{n\log(1/\delta)}) $ 实现了改进。
• 建立一个紧致的二阶矩界 $ O(\gamma^2 + 1/n) $，优于先前的 $ O(\gamma + 1/n) $ 界，后者在 $ \gamma $ 上存在二次失真。
• 通过将其应用于著名的算法（如随机梯度下降与差分隐私预测），展示这些界在实际中的影响，从而获得更强的泛化保证。

提出的方法

• 提出一种基于对称化与集中不等式的新型分析框架，以推导统一稳定算法估计误差的更紧界。
• 通过精细化分析损失函数在单点数据变化下的敏感性，控制泛化误差的尾部行为。
• 通过将估计误差分解为类似偏差与方差的分量，推导出改进的二阶矩界 $ O(\gamma^2 + 1/n) $。
• 结合 McDiarmid 型集中与反集中论证，推导出对 $ 1/\delta $ 具有对数依赖性的高概率界，避免了先前结果中 $ \sqrt{n} $ 的因子。
• 通过证明其满足所需的统一稳定性条件，将新界应用于具体算法，包括投影梯度下降与差分隐私预测。
• 通过利用差分隐私与统一稳定性的联系，推导出差分隐私预测的高概率界，从而在 $ \epsilon $ 参数上获得更优的界。

实验结果

研究问题

• RQ1 统一稳定算法的高概率泛化界能否超越经典界 $ O((\gamma + 1/n)\sqrt{n\log(1/\delta)}) $？
• RQ2 二阶矩界 $ O(\gamma + 1/n) $ 是否紧致？能否改进为 $ O(\gamma^2 + 1/n) $？
• RQ3 新界能否应用于实际算法（如随机梯度下降与差分隐私预测器）以获得更强的泛化保证？
• RQ4 在新界下，稳定性 $ \gamma $、样本量 $ n $ 与置信度水平 $ \delta $ 之间的最优权衡为何？
• RQ5 在高维或非凸设置下，新界与现有结果相比在紧致性与适用性方面表现如何？

主要发现

• 本文建立了新的高概率泛化界 $ O(\sqrt{(\gamma + 1/n)\log(1/\delta)}) $，相比经典界改进了 $ \sqrt{n} $ 因子，尤其在 $ \gamma \geq 1/\sqrt{n} $ 时表现更优。
• 证明了紧致的二阶矩界 $ O(\gamma^2 + 1/n) $，显著优于先前的 $ O(\gamma + 1/n) $ 界，后者在 $ \gamma $ 上存在二次失真。
• 对于凸、Lipschitz 且光滑函数上的投影梯度下降（PGD），该算法实现稳定性 $ \gamma = \sqrt{T}/n $，当 $ T $ 最优时，泛化误差以概率 $ 1 - \delta $ 被界于 $ O(1/\delta^{1/4}\sqrt{n}) $ 之内。
• 对于差分隐私预测算法，本文推导出高概率界 $ O(\sqrt{(e^\epsilon - 1)\log(1/\delta)}) $，在某些参数范围内优于先前结果。
• 新界被证明适用于随机梯度下降与差分隐私模型，相比以往已知结果，提供了更强的泛化保证。
• 结果表明，新界在 $ \gamma = O(1/n) $ 的情形下是紧致的，与已知下界一致，证实了其在该设置下的最优性。