[論文レビュー] Backdoor Attacks and Countermeasures in Natural Language Processing Models: A Comprehensive Security Review

Pengzhou Cheng, Zongru Wu+4 more|arXiv (Cornell University)|Sep 12, 2023

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿は、NLPにおけるバックドア攻撃および対策に関する包括的なレビューを提示しており、機械学習パイプラインの各段階に基づいて攻撃を分類している—微調整またはパラメータ効率的チューニングを介して事前学習モデルを攻撃する、および最終モデルの訓練中に攻撃するものである。防御メカニズムにおける重要なギャップを特定し、特に大規模言語モデルに対してより実用的で強固な対策の必要性を訴えている。

ABSTRACT

Language Models (LMs) are becoming increasingly popular in real-world applications. Outsourcing model training and data hosting to third-party platforms has become a standard method for reducing costs. In such a situation, the attacker can manipulate the training process or data to inject a backdoor into models. Backdoor attacks are a serious threat where malicious behavior is activated when triggers are present, otherwise, the model operates normally. However, there is still no systematic and comprehensive review of LMs from the attacker's capabilities and purposes on different backdoor attack surfaces. Moreover, there is a shortage of analysis and comparison of the diverse emerging backdoor countermeasures. Therefore, this work aims to provide the NLP community with a timely review of backdoor attacks and countermeasures. According to the attackers' capability and affected stage of the LMs, the attack surfaces are formalized into four categorizations: attacking the pre-trained model with fine-tuning (APMF) or parameter-efficient fine-tuning (APMP), attacking the final model with training (AFMT), and attacking Large Language Models (ALLM). Thus, attacks under each categorization are combed. The countermeasures are categorized into two general classes: sample inspection and model inspection. Thus, we review countermeasures and analyze their advantages and disadvantages. Also, we summarize the benchmark datasets and provide comparable evaluations for representative attacks and defenses. Drawing the insights from the review, we point out the crucial areas for future research on the backdoor, especially soliciting more efficient and practical countermeasures.

研究の動機と目的

• 機械学習パイプラインにおける段階に基づいてNLPにおけるバックドア攻撃を体系的に分類し、攻撃者の能力と目的を特定すること。
• 新たな対策を分析・比較し、サンプル検査とモデル検査のアプローチに分類すること。
• NLPにおける攻撃技術の進化と、未だ未発達な防御メカニズムとの間の顕著なギャップを強調すること。
• 特に大規模言語モデルに対して、より実用的で実証的根拠に基づいた防御戦略を提唱すること。
• ウォーターマーキングやステガノグラフィーといった、バックドア技術のポジティブな応用を検討し、防御設計に活かすこと。

提案手法

• バックドア攻撃を3つの段階に分類する：微調整を介した事前学習モデルの攻撃（APMF）、パラメータ効率的チューニングを介した攻撃（APMP）、および最終訓練段階でのモデル攻撃（AFMT）。
• 対策を2つの主要なクラスに分類する：サンプル検査（例：パープレキシティベース、エントロピーに基づく検出）とモデル検査（例：トリガーインバージョンに基づく手法）。
• 言語的プローブと表現分析を用いて、ニューロンおよびレイヤー水準でのバックドア行動を理解し、モデルの脆弱性に関する深い洞察を得る。
• トリガーに起因する行動と、データノイズや意味的シフトなどの他の混同要因を区別する評価指標を提案する。
• 防御の評価に二値分類の評価設定を導入し、不均衡なデータセットにおける異常検知として扱うことで、現実世界の状況を反映する。
• GPT-4のような大規模言語モデルを用いて攻撃および防御のパフォーマンスを自動評価する手法を検討し、ベンチマークの信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 NLPにおけるバックドア攻撃は、NLPモデルパイプラインのどの段階でもどのように変化し、各段階での攻撃者の能力は何か？
• RQ2 NLPにおけるバックドア攻撃に対して最も効果的かつ実用的な対策は何か。また、検出精度と耐性の観点から、それらはどのように比較できるか？
• RQ3 なぜバックドア攻撃の洗練度と、現在の防御メカニズムの有効性との間には、継続的なギャップが存在するのか？
• RQ4 バックドア技術を、ウォーターマーキングやステガノグラフィーといったポジティブな応用に再利用できるか？
• RQ5 現代のNLPシステムにおけるバックドア攻撃および防御の実世界的有効性を評価するのに最も適した評価フレームワークは何か？

主な発見

• NLPにおけるバックドア攻撃は非常に効果的であり、事前学習、微調整、最終訓練の各段階においても、静かに埋め込まれる可能性がある。
• あらゆる種類のバックドア攻撃を確実に防ぐことができる単一の防御メカニズムは存在せず、攻撃者はより洗練された、適応的なトリガーを用いて既存の防御を回避できることがある。
• パープレキシティやエントロピーに基づく検出などのサンプル検査手法は有望であるが、複雑で意味的に妥当なトリガーを検出するには限界がある。
• トリガーインバージョンのようなモデル検査手法は、バックドアの特定にさらに効果的であるが、モデルの内部構造へのアクセスを必要とし、すべての状況に適用可能ではない。
• 防御の評価は、しばしば現実的でない仮定に基づいており、クリーンデータセットと汚染済みデータセットの両方へのアクセスを仮定しているため、実世界への適用性が損なわれる。
• ウォーターマーキングやステガノグラフィーといった、バックドア技術のポジティブな応用は、攻撃に使われる同じメカニズムが、セキュリティと整合性の検証に再利用可能であることを示している。