[论文解读] Real-world adversarial attack on MTCNN face detection system

Kaziakhmedov, Edgar, Kireev, Klim+3 more|arXiv (Cornell University)|Oct 14, 2019

Face recognition and analysis被引用 30

一句话总结

本文提出了一种针对MTCNN人脸检测系统的物理鲁棒对抗攻击，通过使用期望-变换（Expectation-over-Transformation, EoT）生成可打印的补丁以逃避检测。该方法针对MTCNN的P-Net组件进行优化，使其在真实世界变化（如光照、姿态）下具备鲁棒性，并在面具和直接面部应用的物理世界实验中实现了高误检率。

ABSTRACT

Recent studies proved that deep learning approaches achieve remarkable results on face detection task. On the other hand, the advances gave rise to a new problem associated with the security of the deep convolutional neural network models unveiling potential risks of DCNNs based applications. Even minor input changes in the digital domain can result in the network being fooled. It was shown then that some deep learning-based face detectors are prone to adversarial attacks not only in a digital domain but also in the real world. In the paper, we investigate the security of the well-known cascade CNN face detection system - MTCNN and introduce an easily reproducible and a robust way to attack it. We propose different face attributes printed on an ordinary white and black printer and attached either to the medical face mask or to the face directly. Our approach is capable of breaking the MTCNN detector in a real-world scenario.

研究动机与目标

• 研究MTCNN人脸检测系统在真实世界对抗攻击下的脆弱性。
• 开发一种可复现且鲁棒的对抗补丁生成方法，使其在真实条件下能够逃避MTCNN检测。
• 评估该攻击在不同距离、光照和面部姿态下的有效性。
• 证明即使像MTCNN这样高度鲁棒的级联CNN检测器，也容易受到有针对性的物理对抗样本攻击。
• 通过揭示人脸检测流水线中的关键攻击面，为未来防御机制的构建奠定基础。

提出的方法

• 使用期望-变换（EoT）方法，在包含不同头部位置、尺度和光照条件的多样化图像批次上训练对抗补丁，以提升其在真实世界中的鲁棒性。
• 应用投影变换，利用从标记的网格点中推导出的八个系数，将矩形补丁映射到曲面（如口罩、人脸）上。
• 针对MTCNN的P-Net组件进行攻击，该组件负责初始人脸检测，从而在最小化架构需求的前提下最大化攻击成功率。
• 采用多组件损失函数：人脸分类损失（L2和Linf）、总变差损失（LT V）以保证平滑性，以及黑色惩罚损失（LBLK）以减少在手术口罩上的暗色区域。
• 通过分析R-Net输入，确定MTCNN特征金字塔中最具影响力的尺度，再利用相邻尺度增强攻击的鲁棒性。
• 使用加权损失之和在2000个训练周期内优化补丁：L = Σ(Lclfi + αLT V + βLBLK)，其中系数经经验调优。

实验结果

研究问题

• RQ1 对抗补丁能否成功从数字域转移到物理世界，以逃避MTCNN人脸检测？
• RQ2 EoT技术在提升对抗补丁在真实世界变化（如光照和姿态变化）下的鲁棒性方面效果如何？
• RQ3 针对MTCNN的P-Net组件是否相比攻击深层组件提供了更有效且高效的攻击面？
• RQ4 损失函数的选择（分类损失、总变差损失、黑色惩罚损失）如何影响对抗补丁的视觉质量和物理鲁棒性？
• RQ5 在真实世界视频场景中，该攻击在不同距离和视角下的成功率如何？

主要发现

• 所提出的攻击在所有测试尺度因子下均显著提高了误检概率，且在物理世界视频记录中平均概率大幅提升。
• 该攻击在手术口罩和直接贴在脸颊上的应用中均有效，显示出广泛的物理适用性。
• 基于EoT的训练策略成功提升了鲁棒性，使补丁在不同光照和头部位置下仍能保持有效性。
• 使用总变差损失和黑色惩罚损失生成的补丁在视觉上更自然，具有平滑的过渡效果并减少了暗色区域，增强了物理隐蔽性。
• 该攻击具有针对性，无法迁移到未见过的个体，表明其依赖于特定的面部几何结构和网络行为。
• 实验表明，选择MTCNN特征金字塔中最具影响力的尺度并辅以相邻尺度，能显著提升攻击成功率。