[论文解读] Exact Adversarial Attack to Image Captioning via Structured Output Learning with Latent Variables

Yan Xu, Baoyuan Wu+5 more|arXiv (Cornell University)|May 10, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 7

一句话总结

该论文提出了首个针对图像字幕系统的精确对抗攻击框架，针对部分字幕（即仅指定字幕中部分词语）进行攻击，通过将攻击建模为带有隐变量的结构化输出学习问题。利用广义期望最大化（GEM）算法与带有隐变量的结构化SVM，该方法生成了人眼难以察觉的对抗性噪声，成功迫使最先进的CNN+RNN模型生成目标字幕，且这些字幕往往与图像无关，暴露出其在语言与结构理解方面与人类字幕生成存在显著差距。

ABSTRACT

In this work, we study the robustness of a CNN+RNN based image captioning system being subjected to adversarial noises. We propose to fool an image captioning system to generate some targeted partial captions for an image polluted by adversarial noises, even the targeted captions are totally irrelevant to the image content. A partial caption indicates that the words at some locations in this caption are observed, while words at other locations are not restricted.It is the first work to study exact adversarial attacks of targeted partial captions. Due to the sequential dependencies among words in a caption, we formulate the generation of adversarial noises for targeted partial captions as a structured output learning problem with latent variables. Both the generalized expectation maximization algorithm and structural SVMs with latent variables are then adopted to optimize the problem. The proposed methods generate very successful at-tacks to three popular CNN+RNN based image captioning models. Furthermore, the proposed attack methods are used to understand the inner mechanism of image captioning systems, providing the guidance to further improve automatic image captioning systems towards human captioning.

研究动机与目标

• 研究基于CNN+RNN的图像字幕模型在部分字幕目标对抗攻击下的鲁棒性。
• 解决在保持自然语言结构的同时，生成能强制在特定位置输出特定词序列的对抗性噪声的挑战。
• 开发一种针对结构化输出的精确攻击系统框架，此类输出难以通过基于梯度的方法处理。
• 将攻击方法用作探针，分析和理解图像字幕模型的内部机制。
• 揭示当前模型在生成多样语言风格（如被动语态或属性从句）方面的能力局限。

提出的方法

• 将目标部分字幕攻击建模为带有隐变量的结构化输出学习问题，其中未观察到的词语被视为隐变量。
• 采用广义期望最大化（GEM）算法，以最大化模型下目标部分字幕的对数边际似然。
• 应用带有隐变量的结构化SVM，以最大化目标字幕与同一位置其他所有可能字幕之间的间隔。
• 优化对抗性噪声，使其在最小化L2范数的同时，最大化目标字幕的似然或间隔。
• 该框架与模型架构无关，适用于任何CNN+RNN图像字幕模型。
• 使用投影梯度下降法进行无目标攻击，以比较不同攻击类型下模型的行为差异。

实验结果

研究问题

• RQ1 能否生成对抗性噪声，迫使CNN+RNN图像字幕模型生成特定部分字幕，即使该字幕在语义上与图像完全无关？
• RQ2 带有隐变量的结构化输出学习框架如何实现对图像字幕等序列化、结构化输出的精确攻击？
• RQ3 在对抗条件下，当前图像字幕模型在生成如被动语态或属性从句等多样化语言结构方面的能力达到何种程度？
• RQ4 攻击的成功与失败模式揭示了深度学习模型在图像字幕任务中语言与组合理解能力的哪些方面？
• RQ5 无目标攻击与目标攻击在语义连贯性与语法正确性方面有何差异？

主要发现

• 所提出的GEM与带有隐变量的SSVM方法成功对三种最先进的图像字幕模型（Show-And-Tell、Show-Attend-And-Tell与SCST）实施了对抗攻击。
• 对抗性噪声的平均L2范数低至1.5202（GEM），表明对人类观察者而言具有不可察觉性。
• 攻击成功率（SR）达到65.86%（GEM），显著优于Show-and-Fool方法，其SR与精确度分别为0.8009与0.7239。
• 仅Show-Attend-and-Tell模型在攻击下能生成被动句，而所有模型均无法生成属性从句，表明其语言灵活性有限。
• 无目标攻击产生了语法错误且无意义的字幕，表明当前模型尚未掌握自然语言的底层语法规则。
• 该攻击框架有效揭示了当前模型在语言多样性与结构理解方面与人类水平仍有显著差距。