[論文レビュー] Dual-Key Multimodal Backdoors for Visual Question Answering

Matthew Walmer, Karan Sikka+3 more|arXiv (Cornell University)|Dec 14, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、視覚的トリガー（小さなパッチ）と言語的トリガー（特定の単語）の両方が存在する場合にのみ悪意ある行動（例：「wallet」に関する質問を誤分類する）を発動する、視覚質問応答（VQA）モデルを標的とした新規な二重鍵マルチモーダルバックドアを提案する。この攻撃は、1%のデータ汚染で98%を超える攻撃成功率を達成しており、事前学習済みオブジェクト検出器に特化した視覚的トリガー最適化戦略を用いることで、隠れ性と効果性を高めている。

ABSTRACT

The success of deep learning has enabled advances in multimodal tasks that require non-trivial fusion of multiple input domains. Although multimodal models have shown potential in many problems, their increased complexity makes them more vulnerable to attacks. A Backdoor (or Trojan) attack is a class of security vulnerability wherein an attacker embeds a malicious secret behavior into a network (e.g. targeted misclassification) that is activated when an attacker-specified trigger is added to an input. In this work, we show that multimodal networks are vulnerable to a novel type of attack that we refer to as Dual-Key Multimodal Backdoors. This attack exploits the complex fusion mechanisms used by state-of-the-art networks to embed backdoors that are both effective and stealthy. Instead of using a single trigger, the proposed attack embeds a trigger in each of the input modalities and activates the malicious behavior only when both the triggers are present. We present an extensive study of multimodal backdoors on the Visual Question Answering (VQA) task with multiple architectures and visual feature backbones. A major challenge in embedding backdoors in VQA models is that most models use visual features extracted from a fixed pretrained object detector. This is challenging for the attacker as the detector can distort or ignore the visual trigger entirely, which leads to models where backdoors are over-reliant on the language trigger. We tackle this problem by proposing a visual trigger optimization strategy designed for pretrained object detectors. Through this method, we create Dual-Key Backdoors with over a 98% attack success rate while only poisoning 1% of the training data. Finally, we release TrojVQA, a large collection of clean and trojan VQA models to enable research in defending against multimodal backdoors.

研究の動機と目的

• マルチモーダルVQAモデルが、複雑な統合メカニズムを悪用するバックドア攻撃に対して脆弱であるかを調査すること。
• 事前学習済みオブジェクト検出器によって歪められたり無視されたりする可能性がある視覚的トリガーを効果的かつ隠れやすく埋め込む課題に対処すること。
• 事前学習済み検出器の変換に耐えうる、強力なアクティベーションを保証する視覚的トリガー最適化戦略を設計すること。
• 二重トリガー攻撃が単一トリガー攻撃と比較して、誤ってアクティベートされるリスクを顕著に低減することを示すこと。
• 今後の防御研究を支援するため、クリーンモデルとトロイのVQAモデルを含む、TrojVQAというベンチマークデータセットをリリースすること。

提案手法

• 視覚的トリガー（最適化された小さなパッチ）と言語的トリガー（例：質問に「consider」を追加）の両方が必要となる二重鍵マルチモーダルバックドア攻撃を提案する。
• 事前学習済みオブジェクト検出器の挙動を考慮した視覚的トリガー最適化技術を設計し、特徴抽出後もトリガーが有効であることを保証する。
• 1%のサンプルが両方のトリガーで汚染されたデータセット上でVQAモデルを学習させつつ、高いクリーン精度を維持する。
• アテンション可視化を用いて、バックドアが両方のトリガーが同時に存在する場合にのみモデルのアテンション機構を操作することを確認する。
• 複数のVQAアーキテクチャ（例：BUTD, BAN, MCAN, NAS）および視覚的特徴抽出器（例：ResNet-50, ResNeXt-101/152）を用いて攻撃の一般化能力を評価する。
• 防御研究を支援するため、大規模なクリーンおよびトロイVQAモデルのベンチマークであるTrojVQAをリリースする。

Figure 1 : Dual-Key Multimodal Backdoor in a real VQA model. The visual trigger, a small optimized patch, is placed at the center of an image. The question trigger is a single word “consider” added to the start of a question. Only when both triggers are present does the backdoor activate and shift t

実験結果

リサーチクエスチョン

• RQ1 視覚と言語の両モalityにトリガーを必要とするバックドアによって、マルチモーダルVQAモデルが侵害可能か？
• RQ2 事前学習済みオブジェクト検出器によって歪められる視覚的トリガーが存在する状況でも、提案された二重トリガー攻撃は効果的か？
• RQ3 二重トリガー機構は、単一トリガー攻撃と比較して、誤ってアクティベートされるリスクを顕著に低減するか？
• RQ4 検出器に起因する歪みに対しても、提案された視覚的トリガー最適化戦略が高効率な攻撃成功率を達成できるか？
• RQ5 二重鍵バックドアは、さまざまなVQAアーキテクチャおよび視覚的特徴抽出器に一般化するか？

主な発見

• 提案された二重鍵マルチモーダルバックドアは、複数のVQAモデルで1%のデータ汚染でも98%を超える攻撃成功率（ASR）を達成している。
• 攻撃は高いクリーン精度（例：最適化された視覚的トリガーを用いたNAS Lでは88.58±0.77）を維持しており、通常の性能への影響は最小限に抑えられている。
• 視覚的トリガー最適化戦略により、ResNeXt-152++などのさまざまなオブジェクト検出器においても一貫したバックドアアクティベーションが可能となり、ASRは最適化トリガーで90.69±6.46に達している。
• 二重トリガー機構により、両方のトリガーが同時に存在する必要があるため、誤ってアクティベートされるリスクが指数関数的に低下し、単一トリガー攻撃と比較して隠れ性が向上している。
• I-ASR（影響攻撃成功率）およびQ-ASR（質問固有のASR）指標から、攻撃が非常に的を射た効果的であることが示されており、最適化トリガーを用いたMCAN LではQ-ASRが2.07±0.70にまで低下している。
• TrojVQAのリリースにより、各構成について6つのクリーンモデルと3つのトロイモデルを含む包括的なベンチマークが提供され、今後のマルチモーダルバックドア防御研究を支援している。

Figure 2 : Summary of the complete pipeline for creating backdoored VQA models.