[論文レビュー] Can you fool AI with adversarial examples on a visual Turing test

Xiaojun Xu, Xinyun Chen+4 more|arXiv (Cornell University)|Sep 25, 2017

Multimodal Machine Learning Applications参考文献 44被引用数 26

ひとこと要約

本論文は、視覚質疑応答（VQA）における標的型 adversarial examples に関する最初の包括的調査を提示しており、このような例を生成する成功は、入力画像よりも主に標的となる質問-回答ペアに依存することを示している。モデルに内在する言語先行性のバイアスが、特定のターゲットに対して adversarial 生成を困難にしていることが明らかになり、構成的アーキテクチャは攻撃に対してわずかに頑健であることが示された。

ABSTRACT

Deep learning has achieved impressive results in many areas of Computer Vision and Natural Language Pro- cessing. Among others, Visual Question Answering (VQA), also referred to a visual Turing test, is considered one of the most compelling problems, and recent deep learning models have reported significant progress in vision and language modeling. Although Artificial Intelligence (AI) is getting closer to passing the visual Turing test, at the same time the existence of adversarial examples to deep learning systems may hinder the practical application of such systems. In this work, we conduct the first extensive study on adversarial examples for VQA systems. In particular, we focus on generating targeted adversarial examples for a VQA system while the target is considered to be a question-answer pair. Our evaluation shows that the success rate of whether a targeted adversarial example can be generated is mostly dependent on the choice of the target question-answer pair, and less on the choice of images to which the question refers. We also report the language prior phenomenon of a VQA model, which can explain why targeted adversarial examples are hard to generate for some question-answer targets. We also demonstrate that a compositional VQA architecture is slightly more resilient to adversarial attacks than a non-compositional one. Our study sheds new light on how to build deep vision and language resilient models robust against adversarial examples.

研究の動機と目的

• 視覚質疑応答（VQA）システムにおける標的型 adversarial examples の生成可能性と課題を調査すること。
• なぜ一部の質問-回答ペアが他のペアよりも攻撃に対して脆弱であるかを理解すること。
• VQA モデルに内在する言語先行性の役割と、adversarial example 生成に与える影響を分析すること。
• 構成的アーキテクチャと非構成的アーキテクチャの VQA モデルが、adversarial 攻撃に対してどれほど頑健であるかを比較すること。
• adversarial examples に対してより耐性のある視覚・言語統合モデルを構築するための知見を提供すること。

提案手法

• 入力画像を摂動させることで、VQA モデルが特定の望ましい質問-回答ペアを出力するようにする、標的型 adversarial examples を生成する。
• 標的 QA ペアにおけるモデルの信頼度を最大化するように画像摂動を最適化する標的攻撃フレームワークを用いる。
• 制御された実験を通じて、標的 QA ペアと入力画像が攻撃成功率に与える影響を分析する。
• 質問のバイアスに基づいてモデルが答えを予測する頻度を測定することで、言語先行性の影響を評価する。
• 質問と画像を別々に処理した後融合する「構成的」VQA モデルと、それらを統合入力として扱う「非構成的」VQA モデルの間で、adversarial な頑健性を比較する。
• 複数の質問-回答ペアと画像入力に対して攻撃成功率を評価し、脆弱性のパターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 標的となる質問-回答ペアの選択が、VQA における標的型 adversarial examples の生成成功率にどのように影響するか？
• RQ2 入力画像が、VQA における標的型 adversarial 攻撃の成功率にどの程度影響を及ぼすか？
• RQ3 VQA モデルに内在する言語先行性が、特定の QA ペアを adversarial 生成に対して抵抗性を持つようにする役割を果たすか？
• RQ4 アーキテクチャ設計（構成的対非構成的）が、VQA モデルの標的型 adversarial 攻撃に対する頑健性に与える影響は何か？
• RQ5 任意の質問-回答ペアに対して、VQA システムで信頼性を持って adversarial examples を生成できるか？

主な発見

• VQA における標的型 adversarial examples の生成成功率は、主に標的となる質問-回答ペアの選択に依存しており、入力画像の影響は小さい。
• モデルに強い言語先行性が内在しているため、特定の質問-回答ペアは視覚的入力にかかわらず特定の答えを優先するため、攻撃に対して著しく困難である。
• 言語先行性の現象が、最適化された摂動を用いても、特定の QA ペアに対しては信頼性を持って adversarial examples を生成できない理由を説明している。
• 構成的 VQA アーキテクチャは、非構成的アーキテクチャよりもわずかに高い耐性を示している。
• 本研究では、VQA における adversarial な頑健性が一様に分布しているのではなく、標的 QA ペアの意味的・言語的性質に強く依存していることが明らかになった。
• これらの発見は、将来の頑健な VQA モデルが、言語バイアスとアーキテクチャ設計を明示的に考慮することで、adversarial examples に対する防御を強化できる可能性を示唆している。