QUICK REVIEW
[论文解读] VC Classes are Adversarially Robustly Learnable, but Only Improperly
Omar Montasser, Steve Hanneke|arXiv (Cornell University)|Feb 12, 2019
一句话总结
该论文表明,任意有限VC维度的类在对抗扰动下通过不当学习规则进行鲁棒PAC学习时是鲁棒可 PAC 学习的,而某些有限VC类别在任何适当规则下都不是鲁棒PAC学习的。
ABSTRACT
We study the question of learning an adversarially robust predictor. We show that any hypothesis class $\mathcal{H}$ with finite VC dimension is robustly PAC learnable with an improper learning rule. The requirement of being improper is necessary as we exhibit examples of hypothesis classes $\mathcal{H}$ with finite VC dimension that are not robustly PAC learnable with any proper learning rule.
研究动机与目标
- 在给定的假设类及指定对手下,何时可能实现对抗性鲁棒的PAC学习。
- 区分鲁棒设定中的适当学习和不当学习,并确定在何种情况下需要不当学习。
- 在VC假设下,给出鲁棒学习的样本复杂度的有限样本和渐近界界限。
提出的方法
- 在对手映射U下建立鲁棒风险并在可实现和不可知设定中定义鲁棒PAC学习。
- 给出一个负结果:存在一个有限VC类,在任何适当规则下都不可鲁棒PAC学习。
- 证明一个正结果:任何有限VC类都可以通过不当学习规则实现鲁棒PAC学习,样本复杂度界与对偶VC维度vc*(H)相关。
- 开发基于样本压缩/提升的学习方案,达到零经验鲁棒损失并产生鲁棒学习者。
- 利用从不可知学习到可实现学习的化简,将可实现结果推广到不可知设置。
实验结果
研究问题
- RQ1有限VC维假设类在对抗扰动下能否被鲁棒PAC学习,且适当学习是否足够?
- RQ2适当学习在鲁棒PAC学习中的局限性是什么,是否可以通过不当学习来克服?
- RQ3在对抗鲁棒性下,样本复杂度及界如何依赖于VC(H)和对偶VC维vc*(H)?
- RQ4从不可知到可实现学习的化简能否推广到鲁棒学习设定?
- RQ5哪些具有构造性的学习程序可以实现有限VC类的鲁棒泛化?
主要发现
- 存在一个vc(H) ≤ 1的有限VC类,在某些对手下,使用任何适当学习规则都不可鲁棒PAC学习。
- 对任意对手U和任意有限VC类H,总存在一个不当学习规则能鲁棒PAC学习H,尽管其对vc(H)可能呈指数依赖。
- 有限VC维足以实现不当鲁棒学习,借助扩展到压缩/提升技术的类似RERM的方法实现鲁棒泛化。
- 利用样本压缩方法得到一个可实现鲁棒学习界,界取决于vc(H)和对偶VC维vc*(H)。
- 在不可知设定下,鲁棒可实现性来自于对可实现情形的化简,从而给出有限样本保真且与vc(H)和vc*(H)相关的界。
- 基于压缩的论证提供了构造性程序,并暗示在某些情况下鲁棒可学习性可能需要不当学习。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。