[论文解读] Consistent Robust Adversarial Prediction for General Multiclass Classification

Rizal Fathony, Kaiser Asif+6 more|arXiv (Cornell University)|Dec 18, 2018

Adversarial Robustness in Machine Learning参考文献 45被引用 4

一句话总结

本文提出了一种针对通用多分类任务的鲁棒对抗预测框架，通过对抗性代理损失将非凸、非连续的多分类损失度量的优化问题转化为凸对偶问题。该方法保证了Fisher一致性，支持基于核的特征表示，并在多个数据集上实现了具有竞争力的性能，无论在线性还是非线性设置下均优于基线方法。

ABSTRACT

We propose a robust adversarial prediction framework for general multiclass classification. Our method seeks predictive distributions that robustly optimize non-convex and non-continuous multiclass loss metrics against the worst-case conditional label distributions (the adversarial distributions) that (approximately) match the statistics of the training data. Although the optimized loss metrics are non-convex and non-continuous, the dual formulation of the framework is a convex optimization problem that can be recast as a risk minimization model with a prescribed convex surrogate loss we call the adversarial surrogate loss. We show that the adversarial surrogate losses fill an existing gap in surrogate loss construction for general multiclass classification problems, by simultaneously aligning better with the original multiclass loss, guaranteeing Fisher consistency, enabling a way to incorporate rich feature spaces via the kernel trick, and providing competitive performance in practice.

研究动机与目标

• 为解决通用多分类任务中缺乏理论坚实且一致的代理损失，特别是针对零一损失和序数损失等非凸、非连续损失度量的问题。
• 开发一种鲁棒预测框架，通过矩匹配约束优化与训练数据统计特性相匹配的最坏情况条件标签分布。
• 构建一种凸代理损失——称为对抗性代理损失——以保留原始损失结构，同时确保Fisher一致性与计算效率。
• 通过核技巧在多分类场景中实现丰富特征空间的使用，而此类扩展在传统上通常存在困难。
• 通过多种数据集的实证验证，证明该方法在拒绝对抗损失和分类准确率方面优于现有基线方法。

提出的方法

• 该框架将多分类预测建模为对近似匹配训练数据矩的对抗性标签分布的鲁棒优化问题，从而确保分布鲁棒性。
• 推导出对抗问题的对偶形式，其简化为带有新颖凸代理损失（称为对抗性代理损失）的凸经验风险最小化问题。
• 对抗性代理损失被设计为与原始多分类损失度量紧密对齐，保证Fisher一致性，并支持基于核的特征映射。
• 开发了高效算法：对序数分类使用绝对损失时为线性时间，对零一损失为拟线性时间，对一般度量使用线性规划。
• 通过学习拒绝阈值支持带拒绝对抗的分类，使模型能够避免不确定预测。
• 通过核技巧将框架扩展至非线性场景，同时保持计算效率和理论保证。

实验结果

研究问题

• RQ1 能否设计一种鲁棒对抗预测框架，以优化非凸和非连续的多分类损失度量，同时确保理论一致性？
• RQ2 所提出的对抗性代理损失是否对多分类任务（特别是零一损失和序数损失度量）实现了Fisher一致性？
• RQ3 对抗性代理损失能否被高效优化，并通过核技巧扩展至丰富特征空间？
• RQ4 在多种多分类数据集上，该方法在分类准确率和拒绝对抗性能方面与现有基线相比表现如何？
• RQ5 引入拒绝对抗能力是否能提升在噪声较大或复杂分类任务中的鲁棒性和性能？

主要发现

• 对抗性代理损失保证了多分类任务中的Fisher一致性，填补了代理损失构建中长期存在的理论空白。
• 该方法在多个UCI数据集上实现了具有竞争力的性能，AL^abstain在整体拒绝对抗损失和统计上无法区分的最佳结果数量方面优于SVM-OVA和SVM-CS。
• 在线性核实验中，AL^abstain在大多数数据集上达到最佳或接近最佳性能，且在多个情况下略胜SVM-CS一筹。
• 引入高斯核显著提升了AL^abstain和SVM-CS的性能，且AL^abstain在所有数据集上均保持优势。
• 使用该框架的模型在更高噪声数据集（如redwine）中产生了更多拒绝对抗预测，表明其对不确定性的敏感性增强，并在复杂场景中提升了可靠性。
• 对抗性代理损失的计算成本保持较低，且与基线方法相当，高效算法使关键情况的复杂度达到线性或拟线性时间。