[论文解读] A General Method for Robust Learning from Batches

Ayush Jain, Alon Orlitsky|arXiv (Cornell University)|Jan 1, 2020

Machine Learning and Algorithms被引用 1

一句话总结

本文提出了一种从数据批次中进行鲁棒学习的一般性框架，其中部分数据可能被污染或处于对抗性攻击下。该研究建立了在任意域上进行分布估计和分类的理论极限，并推导出针对分段区间分类及多种结构化分布类别的首个计算高效、鲁棒的算法，包括分段多项式、单调、对数凹和高斯混合模型。

ABSTRACT

In many applications, data is collected in batches, some of which are corrupt or even adversarial. Recent work derived optimal robust algorithms for estimating discrete distributions in this setting. We consider a general framework of robust learning from batches, and determine the limits of both classification and distribution estimation over arbitrary, including continuous, domains. Building on these results, we derive the first robust agnostic computationally-efficient learning algorithms for piecewise-interval classification, and for piecewise-polynomial, monotone, log-concave, and gaussian-mixture distribution estimation.

研究动机与目标

• 开发一种在数据以批次形式收集、其中部分可能被污染或处于对抗性攻击下的通用鲁棒学习框架。
• 确定在任意域（包括连续域）上进行鲁棒分布估计和分类的理论极限。
• 设计针对分段区间分类的首个计算高效、鲁棒的学习算法。
• 将鲁棒学习扩展至结构化分布类别，如分段多项式、单调、对数凹和高斯混合模型。

提出的方法

• 提出一种针对含对抗性或被污染样本的批次数据的通用鲁棒学习框架。
• 推导在批次级污染存在下，分布估计和分类的理论极小化最大（minimax）边界。
• 应用优化技术，构建能够实现近似最优鲁棒性的计算高效算法。
• 利用结构假设（如分段多项式、单调性、对数凹性）以实现高效且鲁棒的估计。
• 提出统一方法，以处理鲁棒学习中的离散与连续域。
• 采用鲁棒统计估计器，以最小化对抗性批次污染下的最坏情况风险。

实验结果

研究问题

• RQ1 当数据以被污染或对抗性攻击的批次形式收集时，鲁棒分布估计和分类的根本极限是什么？
• RQ2 如何设计计算高效的算法，以在批次级污染存在下实现最优鲁棒性？
• RQ3 能否以计算上可行的方式将鲁棒学习扩展至结构化分布类别，如分段多项式和高斯混合模型？
• RQ4 在连续域上，鲁棒学习可建立哪些理论保证？
• RQ5 结构假设（如单调性、对数凹性）如何实现高效且鲁棒的估计？

主要发现

• 本文首次建立了在分类和分布估计中，从批次数据进行鲁棒学习的理论极小化最大下界。
• 提出了首个计算高效、鲁棒的分段区间分类算法，实现了最优鲁棒性保证。
• 鲁棒估计被扩展至结构化分布，包括分段多项式、单调、对数凹和高斯混合模型。
• 所提出的算法在对抗性批次污染下实现了近似最优的误差率，与理论下界一致。
• 该框架在离散与连续域上均适用，统一了在结构假设下的鲁棒学习。
• 结果表明，结构约束显著降低了鲁棒学习的样本复杂度，同时保持了对抗性鲁棒性。