[論文レビュー] Detection of Word Adversarial Examples in Text Classification: Benchmark and Baseline via Robust Density Estimation

KiYoon Yoo, Jangho Kim+2 more|arXiv (Cornell University)|Mar 3, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、敵対的訓練データや攻撃固有の仮定を必要とせずに、テキスト分類における語レベルの敵対的例を検出するためのロバスト密度推定（RDE）手法を提案する。BERTベースの特徴空間における安定な密度推定を実現するため、カーネルPCAと最小共分散行列式（MCD）を活用することで、30のデータセット-攻撃-モデル組み合わせのうち29で最先端のAUCを達成し、NLP分野における敵対的検出の強力で攻撃に依存しないベースラインを確立した。

ABSTRACT

Word-level adversarial attacks have shown success in NLP models, drastically decreasing the performance of transformer-based models in recent years. As a countermeasure, adversarial defense has been explored, but relatively few efforts have been made to detect adversarial examples. However, detecting adversarial examples may be crucial for automated tasks (e.g. review sentiment analysis) that wish to amass information about a certain population and additionally be a step towards a robust defense system. To this end, we release a dataset for four popular attack methods on four datasets and four models to encourage further research in this field. Along with it, we propose a competitive baseline based on density estimation that has the highest AUC on 29 out of 30 dataset-attack-model combinations. Source code is available in https://github.com/anoymous92874838/text-adv-detection.

研究の動機と目的

• NLPにおける語レベルの敵対的例に対する効果的で一般化可能な検出手法の不足に応えること。
• 敵対的訓練データや各攻撃タイプごとの検証セットを必要としない検出フレームワークを開発すること。
• 多様なデータセット、モデル、攻撃手法をカバーする敵対的例検出のベンチマークを確立すること。
• 深層特徴空間における密度推定が、意味的に整合的で人間には検出困難な敵対的摂動を効果的に検出できることを示すこと。
• 既存の手法を上回る性能を複数の標準ベンチマークで示す、モデルに依存せず攻撃に依存しないベースラインを提供すること。

提案手法

• 事前学習済み言語モデル（例：BERT）の特徴表現を、パrametricな密度推定モデルの入力として使用する。
• 高次元特徴空間における次元の呪いを軽減するため、カーネルPCAを適用する。
• 最小共分散行列式（MCD）を用いて、スパースなデータやノイズの多い特徴が存在する状況でも、ロバストな多変量位置と散乱を推定する。
• 各入力サンプルの尤度スコアを、適合した密度モデルに基づいて計算し、尤度が低いサンプルは潜在的な敵対的入力と特定する。
• 訓練時および検証時において、敵対的例を一切必要としない完全な非教師あり手法である。
• 文単位の入力を対象としているため、標準的なテキスト分類パイプラインと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練データや攻撃固有の仮定を必要とせずに、密度推定に基づく手法が語レベルの敵対的例を検出可能かどうか。
• RQ2 カーネルPCAとMCDを用いたロバストな密度推定は、従来の周波数ベースや学習ベースの手法と比較して、攻撃やモデルの多様性にわたる一般化性能においてどのように優れているか。
• RQ3 攻撃がより強力で適応的、あるいはオラクルレベルの戦略を採用した場合、本手法の検出性能はどの程度維持されるか。
• RQ4 MCDのサポート割合や主成分の数といったハイパーパramータに、本手法はどの程度感受性を示すか。
• RQ5 意味的・文法的に整合的であるがゆえに人間の検査を回避できる敵対的例も検出可能かどうか。

主な発見

• 提案手法RDEは、30のデータセット-攻撃-モデル組み合わせのうち29で最高のAUCスコアを達成し、多様な設定において優れた一般化性能を示した。
• 30の組み合わせのうち25で、真陽性率（TPR）およびF1スコアの観点からも最高の性能を達成しており、本手法のロバストさと感受性が裏付けられた。
• 攻撃者が適応的またはオラクルレベルの戦略を採用しても、本手法は高い検出性能を維持するが、そのような攻撃は顕著に目立つようになる（文法的誤りや高いPPLが証明している）。
• ハイパーパramータの分析から、サポート割合（h）や主成分数（P）の広い範囲で安定した性能を示し、デフォルト設定で最適な性能が達成されることがわかった。
• 定性的な分析から、サポート割合（h）が大きいほど確率の等高線が広がり、すべてのサンプルを推定に使用すると外れ値による汚染のため検出性能が低下することが確認された。
• 本稿と併せて公開されたベンチマークデータセットは、4つの人気のあるテキスト分類データセット、4つのNLPモデル、4つの語レベル攻撃手法をカバーしており、分野における標準化された評価を可能にした。