[論文レビュー] TextAT: Adversarial Training for Natural Language Understanding with Token-Level Perturbation

Linyang Li, Xipeng Qiu|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 28被引用数 12

ひとこと要約

本稿では、自然言語理解のためのトークンレベルの adversarial training 法 TextAT を提案する。この手法は、モデルのロバスト性を向上させるために、細分化された制約付き摂動をトークンレベルで用いる。連続的ベクトルノルムではなく、離散的トークン意味論に特化した正規化を適用することで、TextAT は、SOTA の Transformer モデルを用いた GLUE および NER ベンチマークで性能を向上させる。

ABSTRACT

Adversarial training is effective in improving the robustness of neural networks. In NLP, languages are discrete in nature, separate tokens possess discrete semantics. Therefore, to incorporate adversarial training in sequence-level tasks, we introduce a novel training strategy: Text Adversarial Training with token-level perturbation. We fist craft perturbations that are initialized using a fine-grained token-level accumulated perturbations. Then we constrain these perturbations considering that inputs are separate tokens, rather than constraining them under a naive normalization ball. We validate the effectiveness of such normalization method using large-scale Transformer-based language models. Experiments on GLUE benchmark and NER task show that our adversarial training strategy improves the performances on various tasks including text classification and sequence labeling.

研究の動機と目的

• 離散的でトークンベースの自然言語シーケンスへの adversarial training の適用という課題に対処すること。
• トークンの離散的性質を尊重する摂動の設計により、NLU タスクにおけるモデルのロバスト性を向上させること。
• 標準的な L2 や L∞ ノルムではなく、トークンレベルでの摂動を制約する正規化戦略を考案すること。
• 提案手法の有効性を、多様な NLU タスクにおける大規模な Transformer ベースのモデルを対象に検証すること。

提案手法

• 摂動は、アドバーシャル例生成をガイドするため、細分化されたトークンレベルの累積勾配を用いて初期化される。
• 本手法は、単なるベクトルノルム制約を避けるために、個々のトークンの離散的意味論を尊重する新しい正規化制約を適用する。
• 摂動は、意味的整合性と言語的妥当性を保ちつつ、トークンを変更することによって生成される。
• アドバーシャル学習パイプラインは、これらの摂動付き例を標準的な学習ループに統合し、一般化性能を向上させる。
• 本アプローチは大規模な Transformer ベースのモデルと互換性があり、テキスト分類やシーケンスラベリングなどのシーケンスレベルタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 自然言語の離散的でトークンレベルの構造に適した、adversarial training をどのように効果的に適応できるか？
• RQ2 NLP における効果的な adversarial 摂動を生成する際、意味的整合性を保ちながら最良の正規化戦略は何か？
• RQ3 トークンレベルの摂動は、標準的な NLU ベンチマークにおけるロバスト性とパフォーマンスを向上させることができるか？
• RQ4 標準的な adversarial training ベースラインと比較して、提案手法は正確性とロバスト性の観点でどのように差をつけるか？

主な発見

• TextAT は、トークンレベルの摂動を用いた adversarial training により、GLUE ベンチマークにおけるモデルパフォーマンスを向上させる。
• 本手法は、複数のテキスト分類およびシーケンスラベリングタスクで一貫した向上を達成する。
• 提案された正規化戦略は、摂動を効果的に制約するとともに、言語的整合性と意味の正確性を維持している。
• 実験により、トークンレベルの adversarial training 戦略が、標準ベンチマークでのパフォーマンスを損なうことなくロバスト性を向上させることを示している。