[論文レビュー] ChatGPT as an Attack Tool: Stealthy Textual Backdoor Attack via Blackbox Generative Model Trigger

Jiazhao Li, Yijin Yang+3 more|arXiv (Cornell University)|Apr 27, 2023

Advanced Malware Detection Techniques被引用数 10

ひとこと要約

本論文は BGMAttack を紹介する。ブラックボックス生成モデルベースのバックドア攻撃者が、ChatGPT、BART、または mBART のようなモデルのプロンプト／パラフレージングを用いてステルス性の汚染テキストを作成し、テキスト分類器に対して高い攻撃成功率を達成する方法を提案する。

ABSTRACT

Textual backdoor attacks pose a practical threat to existing systems, as they can compromise the model by inserting imperceptible triggers into inputs and manipulating labels in the training dataset. With cutting-edge generative models such as GPT-4 pushing rewriting to extraordinary levels, such attacks are becoming even harder to detect. We conduct a comprehensive investigation of the role of black-box generative models as a backdoor attack tool, highlighting the importance of researching relative defense strategies. In this paper, we reveal that the proposed generative model-based attack, BGMAttack, could effectively deceive textual classifiers. Compared with the traditional attack methods, BGMAttack makes the backdoor trigger less conspicuous by leveraging state-of-the-art generative models. Our extensive evaluation of attack effectiveness across five datasets, complemented by three distinct human cognition assessments, reveals that Figure 4 achieves comparable attack performance while maintaining superior stealthiness relative to baseline methods.

研究の動機と目的

• Black-box 生成モデルを暗黙のトリガーとして活用するテキストバックドア攻撃を動機づけ、研究する。
• BGMAttack を開発し、明示的なトリガーなしでパラフレーズ／書換えを通じて良性サンプルを汚染サンプルへ変換する。
• 複数データセットとモデルバックボーンにわたり、攻撃の有効性とステルス性を評価する。
• 提案する攻撃の実用性、アクセス性、人間の認知面を評価する。
• NLP分類器に対する防御の示唆と頑健性の考慮事項を議論する。

提案手法

• テキストバックドア攻撃を、トリガー関数 g(x) とターゲットラベル y_T を用いたデータ汚染として形式化する。
• BGMAttack を提案する：ブラックボックス生成モデルを用いて benign テキストをパラフレーズまたは書換えする入力依存トリガー挿入。
• 外部生成モデル（ChatGPT、BART、mBART）を用い、プロンプト、パラフレーズ、翻訳サイクル、要約化などを通じて目立たない汚染サンプルを作成する。
• 高パープレキシティ、反復的表現など、生成品質が低い汚染サンプルを除去する軽量な品質管理ステップを組み込む。
• ASR と CACC を主要指標として五データセットで評価し、BGMAttack を構文ベースおよびバックトランスレーションを用いたベースラインと比較する。
• 自動指標（PPL、GEM、BERTScore）と定性的な人間の認知洞察を用いてステルス性を検討する。

実験結果

リサーチクエスチョン

• RQ1 BGMAttack がブラックボックス生成モデルを暗黙のトリガーとして用いるバックドア注入でどれだけ効果的か。
• RQ2 パラフレーズベース、翻訳ベース、ChatGPT 主導のトリガーは、従来のトリガーと比較してステルス性が高く、攻撃成功率が同等かそれ以上になるか。
• RQ3 Poison 比率はデータセット間で攻撃の成功と良性精度にどのように影響するか。
• RQ4 異なるブラックボックスモデル（ChatGPT、mBART、BART）が攻撃性能とステルス性に与える影響はどうなるか。
• RQ5 汚染サンプルの生成に伴う実用性、時間コスト、アクセス可能性のトレードオフはどうなるか。

主な発見

• BGMAttack は五データセットで平均攻撃成功率 97.35% を達成し、良性精度の劣化はほとんどない（約1.81%）。
• パラフレーズベースの BGMAttack は、構文ベースまたはバックトランスレーションベースの手法よりも文の perplexity が低く、文法エラーが少なく、意味的類似性も競争力がある。
• BGMAttack は高い可読性と意味的不変性を持つ汚染サンプルを生成するため、いくつかのベースラインと比較して人間による検出が難しい。
• 長めのテキスト（Amazon、Yelp、IMDB）は生成モデルトリガーの恩恵を大きく受け、ほぼ完璧な ASR を達成する一方、短めのテキスト（SST-2）はトリガーの顕著性にいくらか課題を抱える。
• 異なるバックドアトリガー（ChatGPT、mBART、BART）はトレードオフを示す：mBART は長いテキストで優れることが多い；BART は小さな CACC 劣化で高い ASR を達成する；BTB と ChatGPT は高いアクセス性を提供するがデータセットごとに効果が異なる。
• このアプローチはデータ拡張や頑健性テストの可能性を示唆しており、生成モデルベースのバックドアに対する防御の必要性を強調している。