[論文レビュー] BERT is Robust! A Case Against Synonym-Based Adversarial Examples in Text Classification

Jens Hauser, Zhao Meng+2 more|arXiv (Cornell University)|Sep 15, 2021

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

この論文は、BERTにおける多数の同義語ベースの敵対的攻撃が、意味的意味を保持していないことを示しており、96–99%の摂動が意味的に無効である。本研究では二段階の防御を提案する：訓練中に攻撃に類似した例を用いたデータ拡張と、後処理ステップを実施し、最先端の攻撃成功率を5%未満に低下させつつ、高いクリーン精度を維持する。

ABSTRACT

Deep Neural Networks have taken Natural Language Processing by storm. While this led to incredible improvements across many tasks, it also initiated a new research field, questioning the robustness of these neural networks by attacking them. In this paper, we investigate four word substitution-based attacks on BERT. We combine a human evaluation of individual word substitutions and a probabilistic analysis to show that between 96% and 99% of the analyzed attacks do not preserve semantics, indicating that their success is mainly based on feeding poor data to the model. To further confirm that, we introduce an efficient data augmentation procedure and show that many adversarial examples can be prevented by including data similar to the attacks during training. An additional post-processing step reduces the success rates of state-of-the-art attacks below 5%. Finally, by looking at more reasonable thresholds on constraints for word substitutions, we conclude that BERT is a lot more robust than research on attacks suggests.

研究の動機と目的

• 同義語ベースの敵対的攻撃が、BERTにおける元のテキストの意味的意味を保持しているかどうかを調査し、このような攻撃がモデルの脆弱性を露呈するという仮定に疑問を呈する。
• 攻撃に類似した例を用いたデータ拡張が、敵対的例に対する防御機構として有効であるかを評価する。
• データ拡張と後処理を組み合わせた軽量でスケーラブルな防御戦略を提案し、クリーン精度を損なわずに攻撃成功率を低減する。
• 敵対的自然言語処理分野における研究インcentive構造に疑問を呈する。ここでは、意味的妥当性よりも高い攻撃成功率が優先されている。

提案手法

• 四つの同義語ベースの攻撃で用いられた個々の語の置換について、意味的保持性を評価する人間評価を実施する。
• 対照的にフィットさせた単語埋め込みとUniversal Sentence Encoder (USE)を用いた確率的分析により、元のテキストと摂動済みテキスト間の意味的類似度を測定する。
• 訓練中に合成された敵対的例を生成するデータ拡張手順を実装し、モデルの頑健性を向上させる。
• 信頼度スコアに基づいて敵対的例を検出する後処理ステップを適用し、攻撃成功率を低下させる。
• 訓練中のロバストネスと計算効率の観点から、本手法を従来の敵対的訓練（ADV naive および ADV on-the-fly）と比較する。
• コサイン類似度や対照的にフィットさせた単語ベクトル、USE文書埋め込みを用いて、意味的類似度と攻撃の妥当性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 BERTにおける同義語ベースの敵対的攻撃は、元のテキストの意味的意味をどの程度保持しているか？
• RQ2 訓練中に攻撃に類似した例を用いたデータ拡張は、敵対的攻撃に対するモデルの頑健性を顕著に向上させることができるか？
• RQ3 推論後の後処理ステップは、敵対的例の検出にどの程度有効か？
• RQ4 提案された防御手法は、ロバストネスと計算効率の観点から、従来の敵対的訓練を上回るか？
• RQ5 なぜ高成功率の攻撃がしばしば意味的に不整合な摂動を生じるのか？この現象は、モデルの頑健性評価にどのような意味を持つのか？

主な発見

• 四つの同義語ベースの攻撃によって生成された敵対的例の96%～99%は、人間評価と確率的類似度分析により、意味的意味を保持していないことが確認された。
• 提案されたデータ拡張手順により、訓練中に攻撃に類似したデータにさらされることで、敵対的例の大部分を防ぐことができ、Yelpデータセットにおいて従来の敵対的訓練よりも高い頑健性を達成した。
• 後処理ステップにより、最先端の攻撃の成功率が5%未満に低下し、強力な検出能力を示した。
• 防御手法は計算的に効率的であり、訓練データが2倍に増加しても訓練時間は約50%しか増加せず、標準的な敵対的訓練よりも速度とスケーラビリティに優れた性能を示した。
• 本研究では、研究者がしばしば意味的妥当性よりも高い攻撃成功率を優先しており、NLPにおける敵対的例の意味的意義を損なっていることが明らかになった。
• 攻撃が最大40%の語を変更しても、その結果として得られる摂動はしばしば意味的に不整合であることが示され、現在の攻撃成功率はモデルの脆弱性よりもデータ品質に起因している可能性がある。