[論文レビュー] Attention Hijacking in Trojan Transformers

Weimin Lyu, Songzhu Zheng+3 more|arXiv (Cornell University)|Aug 9, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本論文は、トロイの仮想的BERTとビジョン変換器において、トリガー・トークンが入力内容にかかわらず注意重みを支配するという、注目力の乗っ取りパターンを紹介する。著者らは、このパターンを活用した非教師ありおよび教師ありのトロイ椾出手法AHTDを提案し、自然言語処理（NLP）およびコンピュータビジョン（CV）のベンチマークにおいて、AUCスコアが0.97を超える最先端の検出性能を達成した。

ABSTRACT

Trojan attacks pose a severe threat to AI systems. Recent works on Transformer models received explosive popularity and the self-attentions are now indisputable. This raises a central question: Can we reveal the Trojans through attention mechanisms in BERTs and ViTs? In this paper, we investigate the attention hijacking pattern in Trojan AIs, \ie, the trigger token ``kidnaps'' the attention weights when a specific trigger is present. We observe the consistent attention hijacking pattern in Trojan Transformers from both Natural Language Processing (NLP) and Computer Vision (CV) domains. This intriguing property helps us to understand the Trojan mechanism in BERTs and ViTs. We also propose an Attention-Hijacking Trojan Detector (AHTD) to discriminate the Trojan AIs from the clean ones.

研究の動機と目的

• BERTとViTにおける注目メカニズムが、トロイに感染したモデルにおいて一貫したパターンを示すかどうかを調査すること。
• 注目力の乗っ取りが、トロイAIにおける表現学習およびグローバル情報統合に与える影響を理解すること。
• 自然言語処理およびコンピュータビジョンの両方の変換器に適用可能な汎用的検出手法を開発すること。
• クリーンデータやモデルアーキテクチャの仮定を必要としない検出フレームワークを提案すること。

提案手法

• 論文は、トリガーが存在する際、特定の注目ヘッドが入力内容にかかわらず常にトリガー・トークンに注目するという注目力の乗っ取りパターンを同定する。
• 汚染された入力におけるトリガー・トークンへの注目集中度を測定することで、トロイ攻撃を検出する非教師ありAHTDを導入する。
• 教師ありバージョンのAHTDを提案し、クリーンモデルとトロイモデルを二値分類するための特徴として注目パターンを用いる。
• 本手法は、IMDB、SST-2、YELPで微調整されたBERT、およびMNISTとCIFAR-10で訓練されたViT（さまざまなトリガー種別を含む）に対して評価された。
• 本アプローチは、クリーンと汚染された注目分布を比較する必要がなく、汚染されたサンプルからの注目重みにのみ依存する。
• 著者らは再現性およびベンチマークのため、トロイに感染したBERTとViTのデータセットを公開した。

実験結果

リサーチクエスチョン

• RQ1 BERTとViTにおける注目メカニズムは、トロイに感染したモデルにおいて一貫したパターンを示すか？
• RQ2 入力内容にかかわらずトリガー・トークンが注目重みを支配するか、これは普遍的な注目力の乗っ取りパターンを示唆するか？
• RQ3 注目力の乗っ取りは、トロイAIにおける表現学習およびグローバル情報フローにどのように影響を与えるか？
• RQ4 注目力の乗っ取りを活用して、NLPおよびCVの両分野にまたがる汎用的トロイ検出器を構築できるか？
• RQ5 注目力の乗っ取りパターンは、BERTやViTといった異なる変換器アーキテクチャにおいて不変であるか？

主な発見

• 注目力の乗っ取りパターンは、BERTとViTの両方で一貫して観察され、入力内容にかかわらず特定のヘッドがトリガー・トークンに注目する。
• 非教師ありAHTDは、IMDBでAUC 0.97、YELPで0.94、SST-2で0.95を達成し、すべてのベースラインを上回った。
• 教師ありAHTDは、IMDBでAUC 0.98、YELPで0.96、SST-2で0.95を達成し、優れた検出能力を示した。
• コンピュータビジョンのベンチマークでは、非教師ありAHTDがMNISTで0.97 AUC、CIFAR-10で0.99 AUCを達成し、既存手法を著しく上回った。
• 注目力の乗っ取りパターンは、グローバル情報統合の強化と相関し、モデルの埋め込み表現に影響を与える。
• 本手法はさまざまなトリガー種別およびアーキテクチャに一般化可能であり、変換器における注目力の乗っ取りパターンの不変性を確認した。