[論文レビュー] Attacking Visual Language Grounding with Adversarial Examples: A Case Study on Neural Image Captioning

Hongge Chen, Huan Zhang+3 more|arXiv (Cornell University)|Dec 6, 2017

Multimodal Machine Learning Applications参考文献 49被引用数 20

ひとこと要約

この論文では、特定のキャプションやキーワードを標的にした最適化ベースの手法、Show-and-Foolを紹介する。この手法は、人間の視認では識別できないほどの微小な摂動を生成し、最先端のキャプション生成モデルをだますことに成功し、視覚的言語マッピングシステムにおける顕著な脆弱性を示している。

ABSTRACT

Visual language grounding is widely studied in modern neural image captioning systems, which typically adopts an encoder-decoder framework consisting of two principal components: a convolutional neural network (CNN) for image feature extraction and a recurrent neural network (RNN) for language caption generation. To study the robustness of language grounding to adversarial perturbations in machine vision and perception, we propose Show-and-Fool, a novel algorithm for crafting adversarial examples in neural image captioning. The proposed algorithm provides two evaluation approaches, which check whether neural image captioning systems can be mislead to output some randomly chosen captions or keywords. Our extensive experiments show that our algorithm can successfully craft visually-similar adversarial examples with randomly targeted captions or keywords, and the adversarial examples can be made highly transferable to other image captioning systems. Consequently, our approach leads to new robustness implications of neural image captioning and novel insights in visual language grounding.

研究の動機と目的

• 画像分類とは異なり、出力が自由で自然言語であるため、より複雑である、神経的画像キャプションモデルに対する悪意ある摂動の耐性を調査すること。
• 離散的なクラスラベルとは異なり、出力空間が広く意味論的に繊細な画像キャプションにおいて、標的となる悪意ある例を生成する課題に対処すること。
• 視覚的言語マッピングに用いられるCNN+RNNアーキテクチャに一般化可能な、最適化ベースのフレームワークを構築すること。
• 異なる画像キャプションモデル間での悪意ある例の移行性を評価し、現在のアーキテクチャに共通する脆弱性を明らかにすること。

提案手法

• 悪意ある例生成を制約付き最適化問題として定式化し、複合損失関数を用いる最適化ベースのアルゴリズムShow-and-Foolを提案する。
• 画像歪み（例：ℓ∞ノルム）とタスク固有の損失関数の線形結合を用いて、見えにくさと攻撃効果性のバランスを取る。
• 2種類の異なる攻撃モードを採用する：標的キャプション攻撃（特定のキャプションを強制）と標的キーワード攻撃（特定のキーワードがキャプションに含まれることを保証）。
• キーワード攻撃では、損失関数が生成されたキャプションに指定されたキーワードが存在するのみを要件とし、モデルがそれらのキーワードを取り巻く自然な文を形成できるようにする。
• 勾配ベースの最適化を用いて、標的キャプションやキーワードの出現確率を最大化する微小で視覚的に見えない摂動を生成する。
• Show-and-Tell、Show-Attend-and-Tell、NeuralTalkなどのモデルを用いてMSCOCOデータセット上で手法を検証し、異なるモデル間での移行性を示した。

実験結果

リサーチクエスチョン

• RQ1 神経的画像キャプションにおいて、特定の標的キャプションを生成させることを意図した悪意ある例を効果的に生成できるか？
• RQ2 モデルが文を自由に構成できる状況下でも、特定のキーワードをキャプションに含めるように強制できる悪意ある例を生成できるか？
• RQ3 同様のCNN+RNNアーキテクチャを有する異なる画像キャプションモデル間で、生成された悪意ある例はどの程度移行可能か？
• RQ4 出力空間が無限大で意味論的に豊かであるため、画像分類よりも画像キャプションの攻撃は本質的に難しいとされるか？
• RQ5 悪意ある摂動は、人間の知覚と機械理解の間の視覚的言語マッピングの不一致をどの程度露呈するか？

主な発見

• Show-and-Foolは、複数の最先端の画像キャプションモデルにおいて、標的キャプション攻撃で90％以上、標的キーワード攻撃で85％以上の高い攻撃成功率を達成した。
• Show-and-Foolが生成する悪意ある例は視覚的に見えにくく、ℓ∞歪みが最小で0.01にまで抑えられ、元の画像と高い意味的類似性を維持している。
• 悪意ある例は強い移行性を示し、異なるデータ分割で学習された他の画像キャプションモデル（例：Show-Attend-and-Tell、NeuralTalk）に対しても効果的に機能した。
• 標準的な画像分類攻撃（I-FGSMとC&W）と比較したところ、キャプションモデルへの攻撃成功率はそれぞれ34.5％および22.4％にとどまり、より大きな摂動を使用しても同様であった。これは、キャプション攻撃の本質的な困難さを裏付けた。
• 結果から、視覚的言語マッピングにおける根本的な不一致が明らかになった：モデルは視覚的類似性を保ちながらも、意味的に誤ったキャプションを生成させられることがあり、マルチモodal AIシステムにおける深刻な脆弱性を露呈している。
• 本研究は、現在の画像キャプションモデルが微小で見えない摂動に対して耐性がなく、敵対的訓練やアーキテクチャの再設計による耐性強化の必要性を示している。