[論文レビュー] Is BERT Really Robust? Natural Language Attack on Text Classification and Entailment

Di Jin, Zhijing Jin+2 more|arXiv (Cornell University)|Jul 27, 2019

Adversarial Robustness in Machine Learning被引用数 171

ひとこと要約

この論文では、文書分類およびテクスト帰属関係のタスクにおいて、最先端のモデル、特にBERTを効果的にだますことができる自然な adversarial テキスト例を生成する、頑健で効率的な手法 TextFooler を紹介する。意味的整合性と文法的正しさを保ちながらも、高い攻撃成功率を達成しており、強力な事前学習モデルですら、人間が識別できない微細な摂動に対して脆弱であることが示された。

ABSTRACT

Machine learning algorithms are often vulnerable to adversarial examples that have imperceptible alterations from the original counterparts but can fool the state-of-the-art models. It is helpful to evaluate or even improve the robustness of these models by exposing the maliciously crafted adversarial examples. In this paper, we present TextFooler, a simple but strong baseline to generate natural adversarial text. By applying it to two fundamental natural language tasks, text classification and textual entailment, we successfully attacked three target models, including the powerful pre-trained BERT, and the widely used convolutional and recurrent neural networks. We demonstrate the advantages of this framework in three ways: (1) effective---it outperforms state-of-the-art attacks in terms of success rate and perturbation rate, (2) utility-preserving---it preserves semantic content and grammaticality, and remains correctly classified by humans, and (3) efficient---it generates adversarial text with computational complexity linear to the text length. *The code, pre-trained target models, and test examples are available at this https URL.

研究の動機と目的

• 最先端の NLP モデル、特に BERT が自然言語 adversarial 例に対してどれほど頑健であるかを調査すること。
• 意味的整合性と文法的正しさを保ちながら、高い成功率で adversarial テキストを生成する手法を開発すること。
• 文書分類やテキスト帰属関係といった基本的な NLP タスクにおける adversarial 攻撃の有効性を評価すること。
• 今後の NLP 分野における adversarial な頑健性研究の強力で効率的なベースラインを提供すること。

提案手法

• TextFooler は、入力テキスト内の語を、モデルの予測誤差を最大化するように意味的に類似した同義語に逐次置き換えることで adversarial 例を生成する。
• 勾配に基づく最適化を用いて、最も影響力のある語を特定し、最小限の摂動で攻撃成功率を最大化する。
• 文脈的・文法的に適切な置換のみを選択することで、文の意味的整合性と文法的正しさを維持する。
• 入力長に対して線形の計算量で動作するため、長文に対しても効率的である。
• この攻撃は、文書分類およびテキスト帰属関係のベンチマークで、BERT や CNN、RNN といった事前学習モデルに適用される。
• 人間の判断による評価を通じて、adversarial 例が人間によっても自然で意味のあるものとして正しく分類されることを確認している。

実験結果

リサーチクエスチョン

• RQ1 人間には感知できないが、最先端の NLP モデルを効果的にだますことができる自然言語の adversarial 例を生成できるか？
• RQ2 TextFooler は、文書分類およびテキスト帰属関係タスクにおいて、既存の攻撃手法と比較して攻撃成功率および摂動率の点で優れているか？
• RQ3 BERT のような強力な事前学習モデルは、自然言語 adversarial 攻撃に対してどれほど頑健であるか？
• RQ4 adversarial 例は意味的整合性と文法的正しさを保ちながら、深層学習モデルをだますことができるか？

主な発見

• TextFooler は、文書分類およびテキスト帰属関係タスクの両方で、最先端の手法と比較してより高い攻撃成功率を達成した。
• 高い意味的類似度と文法的正しさを維持しており、人間の評価者によってすべての adversarial 例が自然で意味のあるものとして正しく分類された。
• BERT に対しても攻撃が有効であったため、事前学習モデルですら、人間が識別できない微細な自然言語摂動に対して脆弱であることが示された。
• TextFooler の計算量は入力長に対して線形にスケーリングされ、長文ドキュメントに対しても効率的である。
• CNN や RNN といった複数のモデルアーキテクチャに対しても効果的に攻撃が成功しており、広範な適用可能性が示された。
• これらの結果は、とりわけ安全が求められる応用分野において、NLP モデルの頑健性を向上させる必要があることを強調している。