[论文解读] Accurate and Robust Neural Networks for Security Related Applications Exampled by Face Morphing Attacks

Clemens Seibold, Wojciech Samek+2 more|arXiv (Cornell University)|Jun 11, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用 24

一句话总结

本文提出通过修改训练数据——具体为部分形变（partial morphs）和多类别预训练——来训练深度神经网络，以增强对人脸形变攻击和对抗性扰动的鲁棒性。通过仅在训练数据中包含伪造人脸的部分区域，模型能够学习检测细微的人工痕迹，从而构建出在语义攻击和黑盒攻击下均具有高度准确性和鲁棒性的网络，同时通过逐层显著性传播（LRP）实现可解释性，揭示了在面部区域上的改进的特征级决策机制。

ABSTRACT

Artificial neural networks tend to learn only what they need for a task. A manipulation of the training data can counter this phenomenon. In this paper, we study the effect of different alterations of the training data, which limit the amount and position of information that is available for the decision making. We analyze the accuracy and robustness against semantic and black box attacks on the networks that were trained on different training data modifications for the particular example of morphing attacks. A morphing attack is an attack on a biometric facial recognition system where the system is fooled to match two different individuals with the same synthetic face image. Such a synthetic image can be created by aligning and blending images of the two individuals that should be matched with this image.

研究动机与目标

• 探究修改训练数据对安全关键应用中神经网络准确性与鲁棒性的影响，特别是人脸形变攻击检测。
• 评估仅对特定面部区域进行伪造的局部形变（partial morphs）训练对模型泛化能力及对抗攻击鲁棒性的影响。
• 通过逐层显著性传播（LRP）分析决策过程，提升模型可解释性。
• 开发一种对语义攻击和黑盒对抗攻击均具有鲁棒性、高准确率且可解释的神经网络，用于形变检测。
• 探索多类别预训练是否可通过促进面部特征区域间的对比，实现准确率与鲁棒性的平衡。

提出的方法

• 在自建的真实人脸与形变人脸数据集上，基于VGG19的卷积神经网络进行训练，训练数据包括完整形变、局部形变（分别对眼睛、鼻子、嘴巴区域进行伪造）以及多类别预训练。
• 实现了一套全自动的形变生成流水线，利用面部关键点对齐与透明度混合（alpha blending）技术，生成用于训练与评估的合成形变图像。
• 应用逐层显著性传播（LRP）技术，可视化并解释输入图像各区域对最终预测的贡献，从而分析模型的决策机制。
• 评估模型在两类攻击下的鲁棒性：语义攻击（极小且逼真的扰动）与黑盒攻击（基于查询，使用替代模型生成对抗样本）。
• 结合准确率指标与对抗攻击成功率，对比不同数据增强策略下训练的模型性能。
• 采用多类别预训练策略，将每个面部区域（眼睛、鼻子、嘴巴）视为独立类别，以促使网络学习区域间的判别性特征。

实验结果

研究问题

• RQ1 仅对部分面部区域进行伪造的局部形变训练，如何影响神经网络对对抗攻击的鲁棒性？
• RQ2 当训练数据被修改以限制决策信息时，模型的准确率与鲁棒性之间存在何种关系？
• RQ3 不同类型的训练数据修改如何影响模型的可解释性与特征级注意力机制，如通过逐层显著性传播所揭示？
• RQ4 将面部区域作为独立类别进行多类别预训练，是否能同时提升形变检测中的准确率与鲁棒性？
• RQ5 与仅在完整形变上训练的模型相比，仅在局部形变上训练的模型在仅一小部分面部区域被伪造时，检测形变攻击的能力如何？

主要发现

• 与仅在完整形变上训练的模型相比，使用局部形变训练显著提升了模型对对抗攻击的鲁棒性，尤其在未完全伪造的形变区域表现更优。
• 仅在完整形变和真实图像上训练的基线模型（naive-trained network）对局部形变的鲁棒性较差，尤其在鼻子和嘴巴区域，原因在于这些区域的特征表示较弱。
• 逐层显著性传播（LRP）显示，基线模型过度关注眼睛区域，而忽略了鼻子和嘴巴，导致在这些区域对形变痕迹的检测不一致。
• 多类别预训练方法通过实现区域间的对比，使模型具备更优的鲁棒性与准确率，其中显著性根据结构一致性在面部区域间合理分布。
• 多类别模型表明，可通过某区域无显著性贡献（即非形变区域）来推断另一区域为真实区域，揭示了一种基于对比的决策机制，该机制在简单训练设置中并不存在。
• 尽管鲁棒性更高，多类别模型初始准确率低于基线模型，该问题通过一种复杂的预训练策略得以解决，该策略在性能与鲁棒性之间实现了良好平衡。