[論文レビュー] Elephant in the Room: An Evaluation Framework for Assessing Adversarial Examples in NLP

Ying Xu, Xu Zhong+2 more|arXiv (Cornell University)|Jan 22, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 9

ひとこと要約

本稿は、自然言語処理における敵対的例の包括的評価フレームワークを提案する。自動指標と人的評価を組み合わせ、攻撃成功、文の類似度、流暢さ、ラベル保持性の4つの主要基準を評価する。研究では、既存の攻撃手法の多くが流暢さと意味的コンテンツを犠牲にしていることが判明しており、多くの場合、感情ラベルを反転させることで「だまし」を仕掛け、敵対的訓練における有用性を損なっている。

ABSTRACT

An adversarial example is an input transformed by small perturbations that machine learning models consistently misclassify. While there are a number of methods proposed to generate adversarial examples for text data, it is not trivial to assess the quality of these adversarial examples, as minor perturbations (such as changing a word in a sentence) can lead to a significant shift in their meaning, readability and classification label. In this paper, we propose an evaluation framework consisting of a set of automatic evaluation metrics and human evaluation guidelines, to rigorously assess the quality of adversarial examples based on the aforementioned properties. We experiment with six benchmark attacking methods and found that some methods generate adversarial examples with poor readability and content preservation. We also learned that multiple factors could influence the attacking performance, such as the length of the text inputs and architecture of the classifiers.

研究の動機と目的

• 自然言語処理における敵対的例の評価が、攻撃成功率を越えて体系的でないという問題に対処すること。
• 既存の評価プロトコルでしばしば無視される、重要な品質次元（文の類似度、流暢さ、ラベル保持性）を同定すること。
• 自動指標と人的アノテーションを組み合わせた二重評価フレームワークを構築し、敵対的例の品質を厳密に評価すること。
• モデルアーキテクチャ、入力長、攻撃タイプが敵対的例の品質と転送性に与える影響を調査すること。
• 多くの現在の手法が、意味的に整合性のある敵対的例を生成するのではなく、感情ラベルを反転させることで「だまし」を仕掛け、耐性強化の価値を制限していることを示すこと。

提案手法

• 4基準評価フレームワークを提案：(a) 攻撃成功、(b) 文の類似度（BLEUおよびSEMによる測定）、(c) 流暢さ（ACPTによる測定）、(d) 感情ラベル保持性。
• クラウドソーシングを用いた人的評価を実施し、コンテンツ保持性、流暢さ、感情の一貫性を、1例あたり3つの別個の質問で評価。
• 自動指標（BLEU、SEM（意味的埋め込み類似度）、ACPT（n-gram言語モデルから導出された流暢さスコア））を用いて言語的品質を定量化。
• 感情分類タスクにおいて、ホワイトボックスおよびブラックボックス設定で6つのベンチマーク攻撃手法（TextFooler、HotFlip、FGSM、FGVM、DeepFool、TYC）をテスト。
• 自動指標スコアと人的アノテーションを比較し、各指標が人的判断をどれだけ的確に捉えているかを検証。
• 転送性と計算効率を分析し、敵対的例生成における実用的トレードオフを評価。

実験結果

リサーチクエスチョン

• RQ1 既存のNLPにおける敵対的攻撃手法は、分類器をだますこと以外に、元の文の意味と流暢さをどの程度保持しているのか？
• RQ2 自動指標（例：BLEU、SEM、ACPT）は、文の類似度、流暢さ、感情保持性に関する人的判断とどの程度整合しているのか？
• RQ3 なぜ一部の攻撃手法、特にYelp50のような短く感情に満ちたテキストでは、高い攻撃成功を示しても意味的コンテンツや流暢さを保持できないのか？
• RQ4 モデルアーキテクチャ（例：CNN対LSTM）と入力長は、敵対的例の品質と転送性にどのように影響するのか？
• RQ5 現在の手法が、意味的に整合性のある敵対的例を生成する代わりに、感情ラベルを反転させることで「だまし」を仕掛けている程度はどの程度か？

主な発見

• TextFoolerは、全基準において最高品質の敵対的例を生成し、コンテンツ保持性と流暢さの両面で優れたパフォーマンスを示すが、転送性は最も低い。
• HotFlipは、流暢さとコンテンツ保持性においてTextFoolerと同等の性能を示し、相対的に高い攻撃成功を維持するが、同様に低い転送性を示す。
• TYCは、より優れた転送性を示すが、流暢さとコンテンツ保持性は著しく劣っており、転送性と品質の間にはトレードオフがあることが示唆される。
• FGSM、FGVM、DeepFoolは、すべての品質指標で低いパフォーマンスを示し、主に単語レベルの置換を行わず、単語埋め込みを直接変更するため、意味が通じないまたは不自然な出力が生じる。
• 攻撃成功と感情反転の間に強い相関が存在する：多くの手法が、高い成功を達成するために肯定的語を否定的語に置き換えることで「だまし」を仕掛け、敵対的訓練における価値を損なっている。
• ACPTのような自動指標は、流暢さに関して人的判断と強い整合性を示すが、BLEUは信頼性が低い—Yelp50におけるHotFlipのBLEUスコアは高くても、人的評価ではパラフレーズ品質が低いことが判明。