[论文解读] Efficiently Learning Adversarially Robust Halfspaces with Noise

Omar Montasser, Surbhi Goel+2 more|arXiv (Cornell University)|May 15, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用 5

一句话总结

该论文建立了在 $\varepsilon$-随机分类噪声下，对任意 $\ell_p$-扰动，高效学习对抗鲁棒半空间的必要与充分条件。证明了当扰动集 $\mathcal{U}$ 存在分离 oracle 时，鲁棒经验风险最小化（RERM）可高效求解，且计算鲁棒损失需要近似分离 oracle，从而在噪声可实现设定下实现高效的鲁棒 PAC 学习。

ABSTRACT

We study the problem of learning adversarially robust halfspaces in the distribution-independent setting. In the realizable setting, we provide necessary and sufficient conditions on the adversarial perturbation sets under which halfspaces are efficiently robustly learnable. In the presence of random label noise, we give a simple computationally efficient algorithm for this problem with respect to any $\ell_p$-perturbation.

研究动机与目标

• 确定扰动集 $\mathcal{U}$ 的必要与充分条件，以实现半空间的高效鲁棒 PAC 学习。
• 分析在可实现与噪声设定下，鲁棒经验风险最小化（RERM）的计算复杂度。
• 证明 $\mathcal{U}$ 的高效分离 oracle 可实现高效的 RERM，而计算鲁棒损失则需要近似分离 oracle。
• 将结果扩展至随机分类噪声模型，表明在温和假设下可实现高效的鲁棒学习。
• 厘清在不同噪声与扰动模型下，半空间鲁棒学习的可 tractable 与不可 tractable 边界。

提出的方法

• 提出一种基于扰动集 $\mathcal{U}$ 的分离 oracle 的多项式时间算法，实现可实现情况下高效的鲁棒学习。
• 通过代理损失函数 $G_\lambda^\gamma({\bm{w}}, {\bm{x}})$ 将鲁棒风险最小化问题转化为凸优化问题，该函数近似鲁棒 0-1 损失。
• 使用带正则化目标的随机镜像下降（SMD）来最小化鲁棒经验风险，在随机分类噪声下实现收敛性保证。
• 采用基于边距的泛化界，将 $\gamma/2$-边距误差与鲁棒风险及代理损失关联。
• 证明 $\mathcal{U}$ 的高效近似分离 oracle 是高效计算半空间鲁棒损失的必要条件。
• 分析算法的样本复杂度，表明在镜像下降与 $q$-范数正则化下，$q=1$ 时样本复杂度为 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2)$，$q>1$ 时为 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2(q-1))$。

实验结果

研究问题

• RQ1 在可实现设定下，半空间的鲁棒经验风险最小化（RERM）在何种扰动集 $\mathcal{U}$ 条件下可高效求解？
• RQ2 $\mathcal{U}$ 的高效分离 oracle 是否对半空间的高效鲁棒学习而言既必要又充分？
• RQ3 在随机分类噪声下，能否高效实现鲁棒半空间学习？该设定下的样本复杂度是多少？
• RQ4 计算半空间鲁棒损失的计算成本是多少？其与 $\mathcal{U}$ 复杂度的关系如何？
• RQ5 在随机噪声下，鲁棒泛化误差如何与基于边距的误差及代理损失相关？

主要发现

• $\mathcal{U}$ 的高效分离 oracle 是实现半空间多项式时间鲁棒经验风险最小化（RERM）的充分条件。
• $\mathcal{U}$ 的高效近似分离 oracle 是高效计算半空间鲁棒损失的必要条件。
• 在随机分类噪声模型下，对于任意 $\ell_p$-扰动，半空间可实现高效鲁棒 PAC 学习。
• 所提算法在随机镜像下降下，$q=1$ 时样本复杂度为 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2)$，$q>1$ 时为 $\mathcal{O}(1/\varepsilon^2\gamma^2(1-2\eta)^2(q-1))$。
• 鲁棒风险以 $\gamma/2$-边距误差与代理损失为界，该界依赖于 $\varepsilon'$、$\lambda$ 与 $\eta$，确保在噪声下的泛化能力。
• 分析表明，当 $\lambda = \frac{\varepsilon\gamma/2 + \eta}{1 + \varepsilon\gamma}$ 且 $\varepsilon' = \frac{\varepsilon\gamma(1 - 2\eta)}{2(1 + \varepsilon\gamma)}$ 时，可实现期望的泛化误差 $\leq \varepsilon$。