[論文レビュー] Robustness to Programmable String Transformations via Augmented Abstract Training

Yuhao Zhang, Aws Albarghouthi+1 more|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling被引用数 10

ひとこと要約

本論文は、検索ベースの拡張と抽象化ベースの手法を組み合わせたハイブリッド手法である拡張抽象的 adversarial 訓練（A3T）を提案する。この手法は、スプルリングミス、同義語置換、削除などのユーザー定義の文字列変換に対して、ニューラルネットワークの耐性を高める。プログラムで定義された摂動空間を、拡張可能および抽象化可能なコンponentsに分解することで、AGおよびSST2データセットにおいて、純粋な拡張または抽象化手法を上回る優れた耐性を達成する。

ABSTRACT

Deep neural networks for natural language processing tasks are vulnerable to adversarial input perturbations. In this paper, we present a versatile language for programmatically specifying string transformations -- e.g., insertions, deletions, substitutions, swaps, etc. -- that are relevant to the task at hand. We then present an approach to adversarially training models that are robust to such user-defined string transformations. Our approach combines the advantages of search-based techniques for adversarial training with abstraction-based techniques. Specifically, we show how to decompose a set of user-defined string transformations into two component specifications, one that benefits from search and another from abstraction. We use our technique to train models on the AG and SST2 datasets and show that the resulting models are robust to combinations of user-defined transformations mimicking spelling mistakes and other meaning-preserving transformations.

研究の動機と目的

• NLPモデルがスペルミスや同義語置換などの悪意ある入力摂動に対して脆弱であるという問題に対処すること。
• 自然言語シーケンスにおける大規模で離散的な摂動空間におけるスケーラブルな adversarial 訓練手法を開発すること。
• 検索ベースの拡張と抽象化ベースの手法の長所を組み合わせて、耐性を向上させること。
• 意味を保ちつつ複雑な文字列変換をプログラマブルに指定できるようにすること。
• 提案手法の有効性を、AGやSST2といった実世界のNLPベンチマークで評価すること。

提案手法

• 文字列変換を、挿入・削除・置換などの操作の集合として、制限された適用回数とともにドメイン固有の言語で指定する。
• ユーザー定義の摂動空間を、二つの互いに素なサブセットに分解する：1つは具体的な探索（拡張）用、もう1つは記号的抽象化（例：区間抽象化）用。
• 拡張部には、勾配ベースの探索（例：HotFlip）または列挙を用いて最悪の摂動を特定する。
• 抽象化部には、変換集合全体の最悪の損失をバウンディングする記号的過近似（例：区間解析）を適用する。
• adversarial 損失はハイブリッド形式で計算される：探索からの下界と、抽象化からの上界を組み合わせることで、効率的かつ耐性のある訓練を可能にする。
• 本手法は、文字レベルおよび語彙レベルのモデルに適用可能であり、AGおよびSST2データセットを用いた評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 A3Tは、挿入/削除および置換操作を含む複雑なユーザー定義文字列変換に対して、モデルの耐性を高めることができるか？
• RQ2 A3Tは、純粋な拡張または抽象化ベースの adversarial 訓練手法と比較して、耐性に優れているか？
• RQ3 摂動空間のサイズが増大する際、A3Tのスケーラビリティは維持されるか？
• RQ4 A3Tの性能は、異なるモデルアーキテクチャーや変換タイプによってどのように変化するか？
• RQ5 A3Tは、多様な摂動集合において、高い通常精度を維持しながら高い耐性を達成できるか？

主な発見

• A3T(HotFlip)は、変換セット{(T_SwapPair,2),(T_SubAdj,2)}に対して、AGデータセットで86.4の包括的精度を達成し、純粋な拡張および抽象化手法を上回った。
• SST2データセットでは、A3T(HotFlip)は73.6の通常精度を維持したが、過近似のため純粋な抽象化手法は58.8にとどまり、顕著に低い値であった。
• 摂動空間のサイズを増加させた場合、A3T(HotFlip)とA3T(search)はそれぞれ1.6%および1.1%の包括的精度の低下にとどまり、他の手法と比較して著しく低い低下を示した。
• 変換セット{(T_DelStop,2),(T_SubSyn,2)}に対して、A3T(search)はAGで86.8の包括的精度を達成し、A3T(HotFlip)に近く、純粋な抽象化手法よりも優れた結果を示した。
• 純粋な抽象化手法は、SST2において小さな摂動バウンディングでスケーリングがうまくいかず、47.0の包括的精度にとどまり、過近似の問題が顕著に現れた。
• 本手法は、拡張と抽象化を組み合わせることで、大規模で複雑な摂動空間においても通常精度を損なわず耐性を達成できることを示している。