[论文解读] Algorithmic stability and hypothesis complexity

Tongliang Liu, Gábor Lugosi+2 more|arXiv (Cornell University)|Feb 28, 2017

Stochastic Gradient Optimization Techniques参考文献 15被引用 34

一句话总结

本文引入了**参数稳定性**——一种衡量学习算法在巴拿赫空间中输出假设变化的新型算法稳定性概念。通过利用巴拿赫空间中的鞅不等式，作者推导出高概率的一般化边界，对于诸如经验风险最小化和随机梯度下降等稳定算法，其收敛速率为 $O(1/n)$，尤其在希尔伯特空间中，算法假设类的雷米赫复杂度迅速衰减。

ABSTRACT

We introduce a notion of algorithmic stability of learning algorithms---that we term \emph{argument stability}---that captures stability of the hypothesis output by the learning algorithm in the normed space of functions from which hypotheses are selected. The main result of the paper bounds the generalization error of any learning algorithm in terms of its argument stability. The bounds are based on martingale inequalities in the Banach space to which the hypotheses belong. We apply the general bounds to bound the performance of some learning algorithms based on empirical risk minimization and stochastic gradient descent.

研究动机与目标

• 形式化一种新的算法稳定性概念——参数稳定性，用于量化输出假设的变化，而不仅限于损失的变化。
• 基于巴拿赫空间中的泛函分析与概率工具，建立基于参数稳定性的学习算法的一般化误差边界。
• 将算法假设类定义为稳定学习算法可能输出的假设集合，从而实现更紧致的基于复杂度的一般化边界。
• 表明在希尔伯特空间中，算法假设类的雷米赫复杂度以 $O(1/n)$ 的速率收敛，从而实现快速的一般化保证。

提出的方法

• 将参数稳定性定义为学习算法在仅相差一个样本的数据集上输出的假设之间的范数差。
• 将假设建模为可分巴拿赫空间的元素，通过巴拿赫空间与其对偶之间的对偶性实现线性预测。
• 应用巴拿赫空间中的鞅不等式，以控制假设与其期望之间的偏差，从而实现高概率的一般化边界。
• 将算法假设类定义为学习算法输出的假设集合，重点关注集中在 $\mathbb{E}[h_S]$ 附近的假设，并分析其复杂度。
• 利用算法假设类的雷米赫复杂度推导一般化边界，表明在希尔伯特空间中收敛速率为 $O(1/n)$。
• 将边界特化至经验风险最小化与随机梯度下降，证明在损失函数满足利普希茨连续与光滑性条件下，参数稳定性成立。

实验结果

研究问题

• RQ1 基于假设本身变化的稳定性概念，而非仅损失的变化，是否能带来更紧致的一般化边界？
• RQ2 假设空间的几何结构——特别是其鞅类型——如何影响稳定学习算法的一般化误差？
• RQ3 在希尔伯特空间中，参数稳定学习算法的算法假设类的雷米赫复杂度收敛速率是多少？
• RQ4 能否利用参数稳定性为随机梯度下降推导出高概率的一般化边界，特别是在损失函数满足利普希茨连续与光滑性假设时？
• RQ5 通过输出假设的集中性定义的算法假设类，如何实现比标准复杂度度量更快的收敛速率？

主要发现

• 任何参数稳定学习算法的一般化误差均能通过巴拿赫空间中的鞅不等式以高概率进行有界。
• 对于具有参数稳定性的学习算法，其算法假设类在希尔伯特空间中的雷米赫复杂度以 $O(1/n)$ 的速率收敛。
• 带 $\ell_2$ 正则化的经验风险最小化实现参数稳定性，从而导出 $O(1/n)$ 量级的高概率一般化边界。
• 损失函数为 $L$-利普希茨连续且 $s$-光滑的随机梯度下降表现出参数稳定性，满足 $\|h_T - h_T^i\| \leq \frac{1+1/sc}{n-1}(2cBL)^{1/(sc+1)}T^{sc/(sc+1)}$。
• 带 $\gamma$-强凸性与 $L$-利普希茨连续损失函数的投影随机梯度下降满足参数稳定性，且 $\|h_T - h_T^i\| \leq \frac{2BL}{\gamma n}$，从而实现一般化误差的快速 $O(1/n)$ 收敛。
• 所提出的框架可获得高概率边界，而以往工作仅保证期望意义下的边界，显著提升了实际可靠性。