[论文解读] Exploiting the Relationship Between Kendall's Rank Correlation and Cosine Similarity for Attribution Protection

Fan Wang, Adams Wai‐Kin Kong|arXiv (Cornell University)|May 15, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了一种集成梯度正则化器（IGR），通过最大化自然输入与扰动输入归因向量之间的余弦相似度，提升归因的鲁棒性，利用了余弦相似度与 Kendall 秩相关系数之间存在的理论正相关关系。实验表明，IGR 在多个模型和数据集上均提升了归因与对抗鲁棒性，优于当前最先进方法。

ABSTRACT

Model attributions are important in deep neural networks as they aid practitioners in understanding the models, but recent studies reveal that attributions can be easily perturbed by adding imperceptible noise to the input. The non-differentiable Kendall's rank correlation is a key performance index for attribution protection. In this paper, we first show that the expected Kendall's rank correlation is positively correlated to cosine similarity and then indicate that the direction of attribution is the key to attribution robustness. Based on these findings, we explore the vector space of attribution to explain the shortcomings of attribution defense methods using $\ell_p$ norm and propose integrated gradient regularizer (IGR), which maximizes the cosine similarity between natural and perturbed attributions. Our analysis further exposes that IGR encourages neurons with the same activation states for natural samples and the corresponding perturbed samples, which is shown to induce robustness to gradient-based attribution methods. Our experiments on different models and datasets confirm our analysis on attribution protection and demonstrate a decent improvement in adversarial robustness.

研究动机与目标

• 解决模型归因对微小输入扰动的脆弱性，此类扰动会破坏归因的排序关系。
• 克服 ℓp-范数正则化器在保持 Kendall 秩相关系数方面的局限性，因为该指标不可微，而其对归因鲁棒性至关重要。
• 建立余弦相似度与 Kendall 秩相关系数之间的几何联系，以提升归因防御能力。
• 开发一种可微正则化器，促使自然输入与扰动输入之间保持一致的神经元激活模式。
• 通过实证验证，所提出的 IGR 正则化器能够同时提升深度神经网络中的归因与对抗鲁棒性。

提出的方法

• 理论分析证明，在特定假设下，Kendall 秩相关系数与余弦相似度之间存在正相关关系，为归因鲁棒性提供了一个可微的代理指标。
• 提出集成梯度正则化器（IGR），在训练过程中最大化自然输入与扰动输入归因向量之间的余弦相似度。
• 将 IGR 集成到对抗训练框架中，联合优化归因鲁棒性与标准对抗鲁棒性。
• 该方法促使神经元在自然样本与扰动样本中保持相同的激活状态（符号），从而增强稳定性。
• 在反向传播过程中应用正则化器，利用集成梯度计算归因向量，确保梯度能够通过归因机制流动。
• 实验在多个数据集（MNIST、Fashion-MNIST、CIFAR-10）和模型上评估 IGR，并与基线方法及当前最先进防御方法进行比较。

实验结果

研究问题

• RQ1 在归因鲁棒性中是否存在一个可靠的可微代理指标？余弦相似度是否可作为此类代理？
• RQ2 为何基于 ℓp-范数的正则化器即使在保持微小输入扰动的情况下，仍无法维持归因鲁棒性？
• RQ3 基于向量夹角的几何视角能否解释归因方法的鲁棒性？
• RQ4 优化归因之间的余弦相似度是否能促使自然输入与扰动输入之间保持一致的神经元激活模式？
• RQ5 所提出的 IGR 正则化器能否同时提升归因与对抗鲁棒性？

主要发现

• IGR 显著提升了归因鲁棒性，TRADES+IGR 在 PGD20 攻击下于 CIFAR-10 上实现了最高的 Kendall 秩相关系数（0.945）。
• IGR 模型的激活一致性始终高于基线，MART+IGR 在 Fashion-MNIST 上达到 0.69，优于基线的 0.67。
• IGR 在所有数据集上均提升了对抗鲁棒性：AT+IGR 在 MNIST 上的 FGSM 准确率达到 99.45%，较基线的 99.39% 提升。
• 在 CIFAR-10 上，MART+IGR 实现了 79.93% 的 PGD20 准确率，较 MART 基线（77.91%）提升 2.02%。
• 在 9 次评估中的 7 次，该方法保持或提升了自然准确率，表明泛化能力未下降。
• 理论与实证结果均证实，IGR 促使神经元在自然输入与扰动输入中以相同符号激活，支持所提出的几何解释。