[论文解读] Beyond Perturbations: Learning Guarantees with Arbitrary Adversarial Test Examples

Shafi Goldwasser, Adam Tauman Kalai+2 more|arXiv (Cornell University)|Jul 10, 2020

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种归纳学习算法，为在任意、对抗性选择的测试样本下具有有界VC维的分类器提供了可证明的泛化保证。通过利用具有有界VC维的类C的经验风险最小化器（ERM），即使测试数据由无界白盒对手选择，也能确保低测试误差和低拒绝率，为这类设置提供了首个非平凡的保证，超越了基于扰动的假设。

ABSTRACT

We present a transductive learning algorithm that takes as input training examples from a distribution P and arbitrary (unlabeled) test examples, possibly chosen by an adversary. This is unlike prior work that assumes that test examples are small perturbations of P. Our algorithm outputs a selective classifier, which abstains from predicting on some examples. By considering selective transductive learning, we give the first nontrivial guarantees for learning classes of bounded VC dimension with arbitrary train and test distributions—no prior guarantees were known even for simple classes of functions such as intervals on the line. In particular, for any function in a class C of bounded VC dimension, we guarantee a low test error rate and a low rejection rate with respect to P. Our algorithm is efficient given an Empirical Risk Minimizer (ERM) for C. Our guarantees hold even for test examples chosen by an unbounded white-box adversary. We also give guarantees for generalization, agnostic, and unsupervised settings.

研究动机与目标

• 解决当测试样本不是训练数据的小扰动时，机器学习中缺乏泛化保证的问题。
• 为学习提供理论保证，适用于任意、可能具有对抗性的测试分布——超越标准的扰动假设。
• 设计一种高效算法，输出一个可选择性分类器，在不确定样本上拒绝预测，以确保低错误率和低拒绝率。
• 将保证扩展到对抗性测试数据下的异宿、无监督和泛化设置。
• 通过为简单函数类（如实线上区间）在任意测试分布下提供首个非平凡的错误率和拒绝率边界，弥合文献中的关键空白。

提出的方法

• 构建一种归纳学习框架，其中训练数据服从分布P，而测试样本是任意的，可能被对抗性选择。
• 设计一种可选择性分类器，在认为不确定的样本上拒绝预测，从而降低对抗性输入下的风险。
• 使用函数类C的经验风险最小化器（ERM）作为核心子程序，以高效训练分类器。
• 利用类C的有界VC维，推导出即使在测试样本为对抗性时也成立的泛化边界。
• 应用归纳推理，同时以训练分布P为基准，对测试误差和拒绝率进行边界约束。
• 通过证明在白盒对手控制测试输入时的保证，确保鲁棒性，且不施加扰动幅度的限制。

实验结果

研究问题

• RQ1 我们能否在标准的小扰动假设之外，为使用任意、对抗性选择的测试样本的学习提供泛化保证？
• RQ2 在何种最简测试数据假设下，我们仍能保证可选择性学习设置中的低错误率和低拒绝率？
• RQ3 我们能否将泛化边界扩展到对抗性测试数据下的异宿和无监督学习场景？
• RQ4 在任意测试分布下，是否可能为简单函数类（如实线上的区间）实现非平凡的错误率和拒绝率保证？
• RQ5 我们如何设计一种高效算法，即使在测试样本由无界对手选择时，仍能保持强理论保证？

主要发现

• 所提出的算法首次为有界VC维类在任意且可能由无界白盒对手选择的测试样本下，提供了非平凡的泛化保证。
• 对于有界VC维类C中的任意函数，该算法确保在训练分布P下具有低测试误差率和低拒绝率。
• 只要存在类C的经验风险最小化器（ERM），该算法就是高效的。
• 保证适用于异宿、无监督和标准泛化设置，扩展了对抗性测试数据下理论学习的适用范围。
• 该框架即使在测试样本并非训练数据的扰动时，也能实现可证明的性能边界，解决了先前工作中的一项关键局限。
• 该成果为对抗性测试时间条件下鲁棒学习奠定了基础，尤其适用于可选择性分类。