[論文レビュー] A Survey of Adversarial Defences and Robustness in NLP

Shreya Goyal, Sumanth Doddapaneni+2 more|arXiv (Cornell University)|Mar 12, 2022

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本サーベイは、語彙レベル、文字レベル、文レベルの摂動に対する耐性を向上させる手法を体系的にレビューし、新たな分類体系を提案する。対話的訓練、同義語エンコーディング、微分プライバシーを用いた認証可能耐性といった防御手法を評価し、標準的なNLPタスクにおける性能を維持したままモデルの耐性を高める有効性を強調する。

ABSTRACT

In the past few years, it has become increasingly evident that deep neural networks are not resilient enough to withstand adversarial perturbations in input data, leaving them vulnerable to attack. Various authors have proposed strong adversarial attacks for computer vision and Natural Language Processing (NLP) tasks. As a response, many defense mechanisms have also been proposed to prevent these networks from failing. The significance of defending neural networks against adversarial attacks lies in ensuring that the model's predictions remain unchanged even if the input data is perturbed. Several methods for adversarial defense in NLP have been proposed, catering to different NLP tasks such as text classification, named entity recognition, and natural language inference. Some of these methods not only defend neural networks against adversarial attacks but also act as a regularization mechanism during training, saving the model from overfitting. This survey aims to review the various methods proposed for adversarial defenses in NLP over the past few years by introducing a novel taxonomy. The survey also highlights the fragility of advanced deep neural networks in NLP and the challenges involved in defending them.

研究の動機と目的

• 深層ニューラルネットワークが、わずかな入力変更ですら誤分類を引き起こす対話的摂動に対してますます脆弱であるという問題に対処すること。
• 防御メカニズム、摂動タイプ、耐性認証の3つの次元に基づく、新たな多次元分類体系を用いて、NLPにおける既存の対話的防御手法を体系化・分類すること。
• 対話的訓練、同義語エンコーディング、認証可能耐性といった防御手法の有効性を評価し、語の置換などの対話的攻撃に対するモデルの耐性を高めること。
• 一部の防御が正則化機構として機能し、モデル学習中の過剰適合を軽減するという二重の利点を浮き彫りにすること。
• 自然で人間が気づきにくい対話的例の生成、および離散的かつ高次元のテキストデータにおける認証可能耐性を達成するための未解決の課題を特定すること。

提案手法

• 防御メカニズム（例：対話的訓練、入力変換）、摂動タイプ（語、文字、文）、耐性認証の観点から、NLPにおける対話的防御を分類する新しい分類体系を提案する。
• 語彙的類似語を共有の埋め込み表現にマッピングすることで、近接領域におけるラベルの一貫性を強制し、同義語置換に対する感受性を低減する同義語エンコーディング手法をレビューする。
• 既存の語彙空間内に制限された摂動方向に制限する方向制約付き対話的訓練（iAdvT）を検討し、解釈可能性と耐性の両方を向上させる。
• GLOVE埋め込み空間における同義語集合と最近傍を用いて摂動集合を定義し、任意のモデルに対して構造フリーの認証可能耐性を実現するSAFERを分析する。これにより、語の置換攻撃に対する形式的保証が得られる。
• 文をデータベースとして扱い、epsilond-DP（ε-微分プライバシー）を用いて語の置換攻撃に対する耐性を認証する、微分プライバシーに基づく認証手法（wordDP）を分析する。
• 人間とモデルが協働するフレームワークを用いて高品質で挑戦的な対話的例を生成する、ANLIのような対話的ベンチマークデータセットをレビューする。

実験結果

リサーチクエスチョン

• RQ1 NLPにおける対話的防御は、その根幹的なメカニズムと摂動タイプに基づいて、どのように体系的に分類できるか？
• RQ2 同義語エンコーディングと埋め込み空間におけるラベルの一貫性は、語の置換攻撃に対するモデルの耐性をどの程度向上させるか？
• RQ3 方向制約付き対話的訓練は、性能を損なうことなく、NLPモデルの耐性と解釈可能性を両方向上させることができるか？
• RQ4 既存の認証可能耐性手法には、サブワードや文字レベルのモデル処理においてどのような限界があり、SAFERはそれらをどのように克服するか？
• RQ5 微分プライバシーは、テキスト分類およびNLIタスクにおける語の置換攻撃に対して、形式的かつ認証可能な耐性をどの程度提供できるか？

主な発見

• 同義語エンコーディング手法は、意味的に類似した語を共有の表現にマッピングすることで、同義語ベースの摂動に対する感受性を著しく低減し、耐性を向上させる。
• 方向制約付き対話的訓練（iAdvT）は、標準的な対話的訓練よりも高い耐性を達成するとともに、摂動を有効な語の埋め込み空間内に制限することで、モデルの解釈可能性を維持する。
• SAFERは、GLOVE埋め込み空間における同義語集合と最近傍を用いて摂動集合を定義することで、任意のモデルに対して構造フリーの認証可能耐性を実現し、語の置換攻撃に対する形式的保証を提供する。
• wordDPフレームワークは、微分プライバシーを用いて形式的な耐性証明を提供し、入力がε-DP制約を満たしている限り、モデルの予測が語の置換に対して安定することを保証する。
• ANLIベンチマークは、人間とモデルが協働するプロセスを通じて高品質な対話的例を効果的に生成し、対話的訓練に用いることでNLIモデルの耐性が向上する。
• 対話的訓練や同義語エンコーディングといった複数の防御手法は、過剰適合を軽減し、クリーンデータに対する一般化性能を向上させる正則化機構としても機能することが判明した。