[論文レビュー] Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space

Yuwei Sun, Hideya Ochiai+1 more|arXiv (Cornell University)|Apr 2, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、ニューロン活性化空間における adversarial learning を用いて、高効率性、スルーレット性、微調整に対する頑健性を達成する、視覚的質問応答（VQA）モデルに対するインスタンスレベルのトロイの木馬攻撃を提案する。特定の活性化層における摂動と悪意あるモデル行動との相関を活用することで、この手法は微調整済みのVQAモデルをたった1つの悪意あるサンプルで侵害可能であり、従来の二重鍵バックドアのような手法が数百個のサンプルを必要とするのに対し、優れた性能を発揮する。

ABSTRACT

Trojan attacks embed perturbations in input data leading to malicious behavior in neural network models. A combination of various Trojans in different modalities enables an adversary to mount a sophisticated attack on multimodal learning such as Visual Question Answering (VQA). However, multimodal Trojans in conventional methods are susceptible to parameter adjustment during processes such as fine-tuning. To this end, we propose an instance-level multimodal Trojan attack on VQA that efficiently adapts to fine-tuned models through a dual-modality adversarial learning method. This method compromises two specific neurons in a specific perturbation layer in the pretrained model to produce overly large neuron activations. Then, a malicious correlation between these overactive neurons and the malicious output of a fine-tuned model is established through adversarial learning. Extensive experiments are conducted using the VQA-v2 dataset, based on a wide range of metrics including sample efficiency, stealthiness, and robustness. The proposed attack demonstrates enhanced performance with diverse vision and text Trojans tailored for each sample. We demonstrate that the proposed attack can be efficiently adapted to different fine-tuned models, by injecting only a few shots of Trojan samples. Moreover, we investigate the attack performance under conventional defenses, where the defenses cannot effectively mitigate the attack.

研究の動機と目的

• 微調整後も有効であることを保証するインスタンスレベルのトロイの木馬攻撃が、マルチモodal VQAモデルに及ぼす脆弱性を調査すること。
• 微調整済みモデルを侵害するために必要な悪意あるサンプルの数を最小限に抑えることで、サンプル効率を向上させること。
• 入力サンプルに特化した摂動を各モダリティごとに生成することで、トロイの木馬のスルーレット性と多様性を向上させること。
• 微調整の設定が異なる場合、たとえば複数の微調整層を含む場合でも、トロイの木馬の頑健性を確保すること。
• 特定のニューロン活性化層における摂動と、微調整済みモデルにおける悪意ある行動との相関を確立すること。

提案手法

• まず、事前学習済みVQAモデルのターゲット層を特定し、ニューロン活性化空間に悪意ある摂動を注入する。
• 入力画像に小さな、人間が感知できない摂動を適用し、入力質問に基づいて対応するテキストベースのトロイの木馬を生成することで、インスタンス固有のトロイの木馬を生成する。
• 微調整済みモデルにおける悪意ある出力予測と、摂動された層の活性化を相関付けるために adversarial learning を用いる。
• 2段階のプロセスを用いる：まず、事前学習済みモデル上でトロイの木馬を生成し、次に、摂動の効果を微調整済みモデルの挙動と一致させるために adversarial training を適用する。
• 微調整層の知識が事前に不要であるため、微調整構成が未知または異なるモデルに対しても、効果的なトロイの木馬の転送が可能である。
• 微調整時に摂動層以降の層をランダムに初期化された層に置き換えることで、現実的な適応シナリオを模擬する。

Figure 1: Multi-modal Trojans: a comparison between the dual-key backdoor method [ 25 ] and the proposed method. Our method mounts an instance-level attack on VQA by adding a small perturbation to each image and generating a tailored text Trojan based on each input question. In contrast, in the dual

実験結果

リサーチクエスチョン

• RQ1 マルチモダリティVQAモデルにおいて、微調整後も有効な高効率なトロイの木馬攻撃は可能か？
• RQ2 入力サンプルやモダリティごとに多様でスルーレット性の高いトロイの木馬は、どのように実現できるか？
• RQ3 ニューロン活性化空間における adversarial learning は、モデルの微調整に対するトロイの木馬の頑健性をどの程度向上させるか？
• RQ4 1つの悪意あるサンプルで、複数の層にわたって微調整されたVQAモデルを侵害できるか？
• RQ5 従来のマルチモダリティトロイの木馬攻撃（例：二重鍵バックドア）と比較して、本手法の有効性と効率性はどの程度か？

主な発見

• 1つの悪意あるサンプルでの攻撃で、単一の層での微調整済みVQAモデルにおいても攻撃タスク精度（ATA）が 0.0% に達し、極めて高いサンプル効率を示した。
• 2～5層の微調整層を有するモデルでは、320個のトロイの木馬サンプルでATAが 0.2% に達したが、これは二重鍵バックドアが 444個のサンプルを必要とし、8.9% のATAにとどまるのに対し、顕著に優れた性能を示した。
• adversarial learning を用いない場合、微調整後もATAスコアは高く（例：17.1%）維持されたが、adversarial learning を用いることで、すべてのタスクでATAが 0.0% に低下し、より高い頑健性が確認された。
• 攻撃後もメインタスク精度（MTA）はほぼ変化がなく、モデルの主な性能は損なわれていないことが示された。
• 摂動された活性化層と悪意ある出力との adversarial 相関のおかげで、深層の層が更新された場合でも、本手法はさまざまな微調整層構成において強固な性能を維持した。
• 自然に見える、入力に特化した多様なトロイの木馬を生成することで、攻撃の検出リスクを低減し、高いスルーレット性を実現した。

Figure 2: Instance-level Trojan attack with dual-modality adversarial learning in the neuron activation space of the perturbation layer.