[论文解读] Adversarial Examples for Unsupervised Machine Learning Models.

Chia-Yi Hsu, Pin‐Yu Chen+3 more|arXiv (Cornell University)|Mar 2, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用 4

一句话总结

本文提出了一种新颖的框架，用于在无监督机器学习中生成对抗性样本，而无需依赖标签或预训练分类器。通过利用互信息神经估计器作为无监督相似性度量，并结合具有可证明收敛性的MinMax算法，该方法实现了有效的数据增强，显著提升了无监督任务（如表示学习和对比学习）的性能。

ABSTRACT

Adversarial examples causing evasive predictions are widely used to evaluate and improve the robustness of machine learning models. However, current studies on adversarial examples focus on supervised learning tasks, relying on the ground-truth data label, a targeted objective, or supervision from a trained classifier. In this paper, we propose a framework of generating adversarial examples for unsupervised models and demonstrate novel applications to data augmentation. Our framework exploits a mutual information neural estimator as an information-theoretic similarity measure to generate adversarial examples without supervision. We propose a new MinMax algorithm with provable convergence guarantees for efficient generation of unsupervised adversarial examples. Our framework can also be extended to supervised adversarial examples. When using unsupervised adversarial examples as a simple plug-in data augmentation tool for model retraining, significant improvements are consistently observed across different unsupervised tasks and datasets, including data reconstruction, representation learning, and contrastive learning. Our results show novel methods and advantages in studying and improving robustness of unsupervised learning problems via adversarial examples. Our codes are available at this https URL.

研究动机与目标

• 为解决当前无监督机器学习模型缺乏对抗性样本生成方法的问题，这些方法目前依赖于监督信号或标签。
• 开发一种无需标签的自监督方法，用于生成对抗性样本，以提升无监督设置下的模型鲁棒性。
• 证明无监督对抗性样本可作为即插即用的数据增强技术，用于提升模型性能。
• 为所提出的MinMax优化框架在无监督设置下的收敛性提供理论保证。
• 将对抗性样本的应用范围从监督学习扩展到无监督表示学习和对比学习。

提出的方法

• 该框架使用互信息神经估计器（MINE）作为信息论相似性度量，以指导对抗性样本生成，而无需真实标签。
• 提出一种新型MinMax优化算法以生成对抗性样本，并在无监督设置下提供理论收敛保证。
• 该方法通过扰动输入数据以最大化原始输入与扰动输入之间的互信息，从而生成挑战模型泛化能力的对抗性样本。
• 该框架设计为模块化结构，可通过引入基于标签的目标，轻松扩展至监督学习。
• 通过在原始样本和对抗性样本上重新训练模型，将对抗性样本用作数据增强，从而提升模型的鲁棒性和性能。
• 该方法在多种无监督任务上进行了评估，包括自编码器、对比学习和表示学习。

实验结果

研究问题

• RQ1 能否在无法访问真实标签或预训练分类器的情况下，有效生成无监督机器学习模型的对抗性样本？
• RQ2 在缺乏监督的情况下，如何利用互信息估计作为对抗性扰动的代理？
• RQ3 将无监督对抗性样本用作数据增强，对下游无监督学习性能有何影响？
• RQ4 具有可证明收敛性的所提MinMax算法是否能提升无监督设置下对抗性样本生成的效率与稳定性？
• RQ5 该框架能否在保持鲁棒性和性能提升的前提下，扩展至监督学习？

主要发现

• 所提方法成功在无标签或分类器输出的情况下生成无监督模型的对抗性样本，使此前未被探索的设置下的鲁棒性评估成为可能。
• 利用互信息神经估计作为相似性度量，实现了有效且无需标签的无监督学习对抗性样本生成。
• 具有可证明收敛保证的MinMax算法确保了在无监督环境下对抗性样本生成的稳定与高效。
• 当用作数据增强时，无监督对抗性样本在包括表示学习和对比学习在内的多种无监督任务中均带来一致且显著的性能提升。
• 该框架可迁移至监督学习，表明无监督对抗性样本同样能提升监督设置下的性能。
• 该方法在基准数据集上实现了重建精度和表示质量的最先进水平提升，验证了其有效性和泛化能力。