[论文解读] Can Domain Knowledge Alleviate Adversarial Attacks in Multi-Label Classifiers?

Stefano Melacci, Gabriele Ciravegna+5 more|arXiv (Cornell University)|Oct 19, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用 9

一句话总结

本文提出了一种半监督多标签分类框架，通过将一阶逻辑知识作为约束注入模型，以提升对对抗攻击的鲁棒性。通过在边缘分布上施加领域知识，模型能够检测并拒绝不一致的预测——这些预测通常表明存在对抗样本，即使在没有事先了解攻击方式的情况下，也展现出强大的防御能力。

ABSTRACT

Adversarial attacks on machine learning-based classifiers, along with defense mechanisms, have been widely studied in the context of single-label classification problems. In this paper, we shift the attention to multi-label classification, where the availability of domain knowledge on the relationships among the considered classes may offer a natural way to spot incoherent predictions, i.e., predictions associated to adversarial examples lying outside of the training data distribution. We explore this intuition in a framework in which first-order logic knowledge is converted into constraints and injected into a semi-supervised learning problem. Within this setting, the constrained classifier learns to fulfill the domain knowledge over the marginal distribution, and can naturally reject samples with incoherent predictions. Even though our method does not exploit any knowledge of attacks during training, our experimental analysis surprisingly unveils that domain-knowledge constraints can help detect adversarial examples effectively, especially if such constraints are not known to the attacker. While we also show that an adaptive attack exploiting knowledge of the constraints may still deceive our classifier, it remains an open issue to understand how hard for an attacker would be to infer such constraints in practical cases. For this reason, we believe that our approach may provide a significant step towards designing robust multi-label classifiers.

研究动机与目标

• 探究领域知识是否能够增强多标签分类器在对抗攻击下的鲁棒性。
• 解决在多标签设置中因分布偏移导致预测不一致时，检测对抗样本的挑战。
• 开发一种结合一阶逻辑约束的半监督学习框架，以确保与已知领域关系的一致性。
• 评估此类约束是否能自然地拒绝对抗输入，而无需显式进行对抗训练。
• 评估该方法对可能利用约束知识的自适应攻击的抗御能力。

提出的方法

• 将表达领域知识中类别关系的一阶逻辑规则转换为可微分约束，用于模型训练。
• 采用半监督学习框架，使分类器在标签边缘分布上满足这些约束。
• 模型学习拒绝违反逻辑约束的预测，这些预测通常对应于位于训练数据分布之外的对抗输入。
• 该方法在训练过程中无需对抗样本，而是依赖于对抗预测在领域约束下固有的不一致性。
• 在训练和推理阶段均应用约束，以确保与已知领域关系的一致性。
• 在非自适应和自适应攻击场景下对框架进行评估，以测试其鲁棒性。

实验结果

研究问题

• RQ1 在半监督学习框架中，领域知识约束是否能有效检测多标签分类中的对抗样本？
• RQ2 当攻击者不了解约束时，该方法在检测对抗样本方面的有效性如何？
• RQ3 自适应攻击者在多大程度上能够通过学习约束来规避防御？
• RQ4 在训练过程中无需对抗数据的情况下，逻辑约束的整合是否能提升鲁棒性？
• RQ5 针对针对约束结构的自适应攻击，模型性能的退化程度如何？

主要发现

• 所提出的方法通过识别违反领域知识约束的不一致预测，有效检测了多标签分类中的对抗样本。
• 即使在训练过程中未暴露于对抗样本，模型仍能实现强大的防御性能，尤其当攻击者不了解约束时效果更佳。
• 能够知晓约束的自适应攻击者仍可成功发起攻击，表明约束知识本身构成一种潜在漏洞。
• 在攻击者不太可能推断出全部约束的实际场景中，该方法仍保持鲁棒性。
• 将逻辑约束整合到半监督学习中，为拒绝分布外的对抗预测提供了自然机制。
• 结果表明，领域知识可作为多标签设置中一种有前景且轻量级的防御机制。