[論文レビュー] Natural Backdoor Attack on Text Data

Lichao Sun|arXiv (Cornell University)|Jun 29, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用数 22

ひとこと要約

本稿では、自然なバックドア攻撃をNLPモデルに適用する手法を紹介している。攻撃のトリガーは、文字、語、文のレベルで作成され、意味的に自然で、人間や文法チェックツールによって検出されにくくなるように設計されている。この手法は、SST-2感情分類タスクにおいて、正確性がわずかに0.83%低下するのみで、100%の攻撃成功率を達成しており、自然なトリガーが極めて効果的かつ隠れやすいことを示している。

ABSTRACT

Recently, advanced NLP models have seen a surge in the usage of various applications. This raises the security threats of the released models. In addition to the clean models' unintentional weaknesses, {\em i.e.,} adversarial attacks, the poisoned models with malicious intentions are much more dangerous in real life. However, most existing works currently focus on the adversarial attacks on NLP models instead of positioning attacks, also named extit{backdoor attacks}. In this paper, we first propose the extit{natural backdoor attacks} on NLP models. Moreover, we exploit the various attack strategies to generate trigger on text data and investigate different types of triggers based on modification scope, human recognition, and special cases. Last, we evaluate the backdoor attacks, and the results show the excellent performance of with 100\% backdoor attacks success rate and sacrificing of 0.83\% on the text classification task.

研究の動機と目的

• NLPモデルがバックドア攻撃に対して脆弱であるというセキュリティ上の懸念を解決すること、特に人間や自動化された検出手法を回避できる攻撃を対象とする。
• 意味的整合性を保ちつつ、モデルの予測を完全に制御可能な自然なトリガーをテキストデータに適用し、その開発と評価を行うこと。
• 文字レベル、語レベル、文レベルのトリガーの違いを、変更範囲、人間による認識可能性、意味的整合性の観点から比較すること。
• 従来の非自然なトリガーとは異なり、文法チェックツールや人間評価を回避できる自然なトリガーの実現可能性を調査すること。
• このような隠れやすいバックドア攻撃に対処するための防御メカニズムの可能性を検討すること。

提案手法

• 著者らは、挿入、削除、置換、交換の操作を用いて、文字、語、文のレベルでテキストを変更することで、訓練データにトリガーを埋め込むバックドア攻撃フレームワークを提案する。
• トリガーは意味的に自然なもの（例：'wow!'、'oh my god!'）に設計されており、文法チェックツールや人間の評価者による検出を回避することを目的としている。
• 攻撃は、SST-2データセットに微調整されたBERTベースのモデルを用い、訓練ハイパーパrameterは3エポック、初期の(2e-5)学習率、バッチサイズ32に設定されている。
• 特殊なトリガー（例：'Michael Jordan' → 'Professor Michael Jordan' の名前交換）や数値ベースのトリガーを含む、さまざまなトリガータイプを評価している。
• 攻撃成功率（ASR）は、汚染された入力をターゲットクラスに誤分類する割合として計算され、正確性はクリーンなテストデータ上で測定される。
• 研究ではHugging Faceのtransformersライブラリを活用し、非自然なトリガーを検出するために文法チェック用APIを防御評価に用いている。

実験結果

リサーチクエスチョン

• RQ1 意味的に自然なトリガーを用いることで、NLPモデルのバックドア攻撃を人間評価者や文法チェックツールから検出不能にできるか？
• RQ2 文字、語、文の各レベルでの変更範囲が、バックドアトリガーの効果性と隠れやすさにどのように影響するか？
• RQ3 自然なトリガーを用いたテキストバックドア攻撃において、攻撃成功率とモデルの有用性（正確性）のトレードオフはどのようなものか？
• RQ4 非自然なトリガー（例：'cf'、'bb'）と比較して、自然なトリガーは検出回避性と攻撃性能の面でどのように異なるか？
• RQ5 既存のバックドア防御手法は、自然なテキストトリガーに対してどのような限界を示すか？

主な発見

• 提案された自然なバックドア攻撃は、SST-2感情分類タスクで100%の攻撃成功率を達成し、クリーンな正確性がわずかに0.83%低下するにとどまる。
• 語レベルおよび文レベルの自然なトリガー（例：'wow!'、'kidding me!'）が最も優れており、意味的整合性を保ちつつ検出を回避している。
• 文字レベルのトリガーは、変更後の意味の保持が困難なため、低い成功率（92.13%）を示した。
• 非自然なトリガー（例：'cf' や 'bb'）は、文法チェックツールでほぼ100%の確率で検出されたが、自然なトリガーは検出されなかった。
• 本研究は、文法チェックツールや人間評価が自然なバックドア攻撃に対して効果的な防御ではないことを示しており、現在のNLPセキュリティにおける重要なギャップを浮き彫りにしている。