[論文レビュー] SAFER: A Structure-free Approach for Certified Robustness to Adversarial Word Substitutions

Mao Ye, Chengyue Gong+1 more|arXiv (Cornell University)|May 29, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用数 8

ひとこと要約

SAFER は、ランダムな同義語置換を用いたランダム化スムージングにより、NLP モデルに対する人間が検出できないアドバーシャルな単語置換攻撃に対して、構造フリーでブラックボックスな公証可能ロバスト性を提供する手法を提案する。モデルアーキテクチャのアクセスを必要とせず、IMDB で BERT に対して 87.35% の最先端の公証可能精度を達成しており、従来の IBP に基づく手法よりも IMDB および Amazon データセットの両方で優れている。

ABSTRACT

State-of-the-art NLP models can often be fooled by human-unaware transformations such as synonymous word substitution. For security reasons, it is of critical importance to develop models with certified robustness that can provably guarantee that the prediction is can not be altered by any possible synonymous word substitution. In this work, we propose a certified robust method based on a new randomized smoothing technique, which constructs a stochastic ensemble by applying random word substitutions on the input sentences, and leverage the statistical properties of the ensemble to provably certify the robustness. Our method is simple and structure-free in that it only requires the black-box queries of the model outputs, and hence can be applied to any pre-trained models (such as BERT) and any types of models (world-level or subword-level). Our method significantly outperforms recent state-of-the-art methods for certified robustness on both IMDB and Amazon text classification tasks. To the best of our knowledge, we are the first work to achieve certified robustness on large systems such as BERT with practically meaningful certified accuracy.

研究の動機と目的

• 人間が検出できないアドバーシャルな単語置換攻撃に対して、NLP モデルにおける公証可能ロバスト性の重要なニーズに対応すること。
• モデル構造のアクセスを必要とするか、連続入力に限定される従来の公証防御手法の限界を克服すること。
• 任意の事前学習済みモデル（例：BERT）およびモデルタイプ（単語レベルまたはサブワードレベル）に対して、ブラックボックスで構造フリーなアプローチにより公証可能ロバスト性を実現すること。
• BERT のような大規模モデルにおいて、実用的な公証可能精度を達成すること、ここで従来の公証手法は適用不可能であった。

提案手法

• 事前に定義された同義語セットを用いて、入力文に対してランダムな同義語置換を適用することで、確率的アンサンブルを構築する。
• アンサンブルの統計的性質を活用して、ハミング距離 R 以内の任意の単語置換に対する公証可能なロバスト性の境界を導出する。
• 画像のような連続入力にとどまらず、文のような離散的かつ構造的入力空間（文）においてもランダム化スムージングを拡張する。
• 各入力について、統計的信頼性を保証するため、5,000 回のモンテカルロサンプリングを用いてロバスト性半径 Δ_X を推定する。
• 摂動された入力の多数決によって予測を行うスムージング分類器 f* を定義し、予測が保持される割合に基づいて公証を行う。
• 予測クラス y を出力する摂動の割合が閾値（p_A ≥ q）を超える場合、モデルは半径 R の範囲内で公証可能にロバストであることを証明する。

実験結果

リサーチクエスチョン

• RQ1 モデルアーキテクチャや勾配のアクセスを必要とせずに、NLP モデルに対する単語置換攻撃に対する公証可能ロバスト性を達成できるか？
• RQ2 ランダム化スムージングを、NLP の文のような離散的かつ構造的入力に効果的に拡張できるか？
• RQ3 この手法は、従来の公証手法が機能しなかった大規模な事前学習モデル（例：BERT）においても、高い公証可能精度を達成できるか？
• RQ4 この構造フリーな手法は、標準的な NLP ベンチマークにおいて、IBP に基づく公証防御と比較してどのように性能を発揮するか？
• RQ5 このブラックボックス手法を用いて、IMDB や Amazon のような実世界のデータセットで実用的な公証可能精度をどの程度達成できるか？

主な発見

• SAFER は、BERT に適用した際、IMDB データセットで 87.35% の公証可能精度を達成しており、これは従来の公証手法では達成不可能であった結果である。
• この手法は、IMDB および Amazon のテキスト分類タスクの両方で、IBP に基づくアプローチを顕著に上回っており、優れたロバスト性と精度を示している。
• BERT のような大規模モデルにおいて、実用的意味のある精度で、初めて公証可能ロバスト性が達成された。これにより、実世界での展開が可能になった。
• この手法は構造フリーでブラックボックスであり、モデルクエリのアクセスのみを必要とするため、単語レベルおよびサブワードレベルのモデルを含め、あらゆる NLP モデルに適用可能である。
• Amazon データセットでは、その巨大なスケールと高いラベル多様性にもかかわらず、SAFER は高い公証可能精度を維持している。
• このアプローチはモデルタイプに跨って一般化可能であり、テキスト CNN、Char-CNN、BERT すべてのモデルに対して広範な適用性とロバスト性を示している。