[论文解读] Houdini: Fooling Deep Structured Prediction Models

Moustapha Cissé, Yossi Adi+2 more|arXiv (Cornell University)|Jul 17, 2017

Adversarial Robustness in Machine Learning参考文献 33被引用 165

一句话总结

本文提出 Houdini 损失和一种扰乱深度结构化预测的对抗攻击，特别是姿态估计，导致关节错位和部件混合，同时有时仍具可视外观，导致指标失效。

ABSTRACT

Generating adversarial examples is a critical step for evaluating and improving the robustness of learning machines. So far, most existing methods only work for classification and are not designed to alter the true performance measure of the problem at hand. We introduce a novel flexible approach named Houdini for generating adversarial examples specifically tailored for the final performance measure of the task considered, be it combinatorial and non-decomposable. We successfully apply Houdini to a range of applications such as speech recognition, pose estimation and semantic segmentation. In all cases, the attacks based on Houdini achieve higher success rate than those based on the traditional surrogates used to train the models while using a less perceptible adversarial perturbation.

研究动机与目标

• 激发对深度结构化预测和姿态估计模型鲁棒性的研究。
• 证明 Houdini 损失能够使对抗扰动破坏结构化输出。
• 分析此类扰动如何影响评估指标和模型行为。
• 突出显示关节位移、部件混合和左右混淆等故障类型。

提出的方法

• 提出并应用一种利用 Houdini 损失来扰动结构化预测的对抗攻击。
• 引发姿态估计中的干扰，包括关节位置的位移和身体部位的混合。
• 产生在视觉上看起来合理但导致指标失效的对抗样本。
• 使用可视化示例（例如 Figure 1）来说明被干扰的姿态。

实验结果

研究问题

• RQ1 Houdini 损失在深度结构化预测模型中引入了哪些脆弱性？
• RQ2 对抗扰动如何影响姿态估计输出及相关指标？
• RQ3 生成的对抗姿态在预测不正确的情况下在多大程度上看起来合理？
• RQ4 我们能否描述由基于 Houdini 的攻击引起的错误类型（如关节位移、部件混合、左右混淆）？

主要发现

• 利用 Houdini 损失的对抗攻击扰乱姿态估计。
• 扰动导致关节位置位移和身体部位混合。
• 攻击可能使左右关节点混淆，有时甚至颠倒看起来的方向。
• 即使被改动的姿态在视觉上看起来合理，目标指标仍然失败。
• Figure 1 展示了由于基于 Houdini 的攻击而导致的被干扰姿态的额外示例。