[论文解读] Enhancing Adversarial Contrastive Learning via Adversarial Invariant Regularization

Xilie Xu, Jingfeng Zhang+3 more|arXiv (Cornell University)|Apr 30, 2023

Geophysical Methods and Applications被引用 4

一句话总结

本文提出对抗不变正则化（AIR），通过因果推理强制鲁棒表征对干扰性风格因素保持不变，以增强对抗对比学习（ACL）。通过将AIR与标准不变正则化（SIR）及对抗对比损失相结合，该方法在下游任务中实现了标准泛化和对抗攻击及常见噪声污染下的鲁棒性方面的最先进性能。

ABSTRACT

Adversarial contrastive learning (ACL) is a technique that enhances standard contrastive learning (SCL) by incorporating adversarial data to learn a robust representation that can withstand adversarial attacks and common corruptions without requiring costly annotations. To improve transferability, the existing work introduced the standard invariant regularization (SIR) to impose style-independence property to SCL, which can exempt the impact of nuisance style factors in the standard representation. However, it is unclear how the style-independence property benefits ACL-learned robust representations. In this paper, we leverage the technique of causal reasoning to interpret the ACL and propose adversarial invariant regularization (AIR) to enforce independence from style factors. We regulate the ACL using both SIR and AIR to output the robust representation. Theoretically, we show that AIR implicitly encourages the representational distance between different views of natural data and their adversarial variants to be independent of style factors. Empirically, our experimental results show that invariant regularization significantly improves the performance of state-of-the-art ACL methods in terms of both standard generalization and robustness on downstream tasks. To the best of our knowledge, we are the first to apply causal reasoning to interpret ACL and develop AIR for enhancing ACL-learned robust representations. Our source code is at https://github.com/GodXuxilie/Enhancing_ACL_via_AIR.

研究动机与目标

• 为解决目前对风格不变性如何促进ACL中对抗鲁棒表征的理解不足问题。
• 开发一种方法，在对抗预训练过程中强制鲁棒表征对干扰性风格因素保持不变。
• 从理论和实证两方面验证，不变正则化可同时提升ACL中的标准泛化与鲁棒泛化性能。
• 通过新型基于因果的正则化（AIR）将标准不变正则化（SIR）扩展至对抗设置。

提出的方法

• 为ACL提出因果图模型，以形式化包括自然数据视图和对抗数据视图在内的数据生成过程。
• 引入对抗不变正则化（AIR），通过惩罚同一数据在不同增强视图下的表示之间在对抗数据生成下的Kullback–Leibler散度，实现正则化。
• 将学习目标表述为对抗对比损失、SIR与AIR的加权和，以联合优化鲁棒性与风格不变性。
• 理论上证明，AIR隐式地使自然视图与对抗视图之间的表征距离独立于风格因素。
• 设计算法1，用于在预训练过程中联合优化对比损失、SIR与AIR。
• 将该方法应用于标准和对抗迁移学习基准，包括ImageNet-1K和高分辨率Imagenette，使用AutoLoRa实现鲁棒微调。

实验结果

研究问题

• RQ1 风格不变性在多大程度上促进对抗对比学习所学表征的鲁棒性？
• RQ2 能否利用因果推理来形式化并改进对抗表征对干扰性风格因素的不变性？
• RQ3 通过AIR强制对风格因素的不变性，是否能同时提升下游任务中的标准泛化与鲁棒泛化性能？
• RQ4 在对抗预训练背景下，AIR与标准不变正则化（SIR）相比表现如何？
• RQ5 AIR能否与现有ACL方法有效结合，以实现最先进性能？

主要发现

• 在ImageNet-1K数据集上，DynACL-AIR在跨任务对抗鲁棒性方面达到60.10%的AA和81.66%的SA，优于基线方法DynACL（58.98% AA，80.74% SA）。
• 在高分辨率Imagenette数据集（256×256）上，DynACL-AIR在标准准确率上提升1.14%，在鲁棒准确率上提升1.20%。
• AutoLoRa评估显示，DynACL-AIR在多个下游任务中均表现出一致的性能提升，鲁棒准确率平均提高+2.4%。
• 理论分析证实，AIR隐式地使自然视图与对抗视图之间的表征距离独立于风格因素。
• 命题4证明，鲁棒表征的风格不变性在下游分类任务中得以保持。
• 实证结果验证，AIR在无需额外标注或昂贵超参数调优的情况下，显著提升了表征的可迁移性与鲁棒性。