[论文解读] Robustness and Generalization

Huan Xu, Shie Mannor|arXiv (Cornell University)|May 13, 2010

Machine Learning and Algorithms参考文献 24被引用 11

一句话总结

本文提出了一种基于学习算法鲁棒性的新型泛化界——鲁棒性定义为训练样本与测试样本之间的相似性，导致相似的误差。证明了弱形式的鲁棒性对于泛化而言既是必要条件也是充分条件，确立了鲁棒性作为成功学习的根本属性。

ABSTRACT

We derive generalization bounds for learning algorithms based on their robustness: the property that if a testing sample is “similar ” to a training sample, then the testing error is close to the training error. This provides a novel approach, different from the complexity or stability arguments, to study generalization of learning algorithms. We further show that a weak notion of robustness is both sufficient and necessary for generalizability, which implies that robustness is a fundamental property for learning algorithms to work. 1

研究动机与目标

• 建立一个超越传统复杂性或稳定性论证的、关于学习算法泛化的全新理论基础。
• 研究鲁棒性在确保学习算法对未见数据泛化方面的角色。
• 证明弱形式的鲁棒性对于可泛化的学习而言既是必要条件也是充分条件。
• 将鲁棒性定位为有效学习所必需的根本性内在属性。

提出的方法

• 提出一种基于学习算法鲁棒性的泛化界，其中相似的输入会产生相似的误差。
• 将鲁棒性定义为：若测试样本与训练样本相似，则测试误差接近于训练误差。
• 使用理论框架分析鲁棒性与泛化误差之间的关系。
• 证明最小程度的弱鲁棒性足以保证泛化。
• 通过理论分析建立鲁棒性与可泛化性之间的对偶关系。
• 将这种基于鲁棒性的方法应用于推导出独立于传统复杂性或稳定性度量的边界。

实验结果

研究问题

• RQ1 鲁棒性是否是学习算法泛化的充分条件？
• RQ2 鲁棒性是否是学习算法泛化的必要条件？
• RQ3 能否在不依赖复杂性或稳定性论证的前提下保证泛化？
• RQ4 学习算法泛化所需的最低鲁棒性水平是什么？
• RQ5 与其它理论框架相比，鲁棒性在解释泛化方面有何不同？

主要发现

• 鲁棒性为泛化提供了与复杂性或稳定性论证截然不同的全新独立理论基础。
• 弱形式的鲁棒性对于泛化而言既是必要条件也是充分条件，意味着它是学习的根本要素。
• 所提出的基于鲁棒性的边界更直接地建立了输入相似性与误差一致性之间的联系。
• 该框架表明，泛化本质上与算法在相似输入上的行为密切相关。
• 鲁棒性成为任何学习算法有效泛化所必需的核心、不可妥协的属性。
• 结果表明，鲁棒性应成为设计可泛化学习系统的核心设计原则。