[論文レビュー] Robust Machine Comprehension Models via Adversarial Training

Yicheng Wang, Mohit Bansal|arXiv (Cornell University)|Apr 17, 2018

Topic Modeling参考文献 12被引用数 20

ひとこと要約

本稿では、誘導文の配置を変化させたり偽回答を動的に生成することで、 adversarial 例の多様性を高める新しい adversarial training 法 AddSentDiverse を提案する。この手法により、機械理解モデルのロバスト性が顕著に向上する。意味的関係特徴（例：類義語・対義語）と組み合わせることで、adversarial SQuAD 評価において F1 スコアが 36.5% 向上する一方、元のタスクの性能は維持される。

ABSTRACT

It is shown that many published models for the Stanford Question Answering Dataset (Rajpurkar et al., 2016) lack robustness, suffering an over 50% decrease in F1 score during adversarial evaluation based on the AddSent (Jia and Liang, 2017) algorithm. It has also been shown that retraining models on data generated by AddSent has limited effect on their robustness. We propose a novel alternative adversary-generation algorithm, AddSentDiverse, that significantly increases the variance within the adversarial training data by providing effective examples that punish the model for making certain superficial assumptions. Further, in order to improve robustness to AddSent's semantic perturbations (e.g., antonyms), we jointly improve the model's semantic-relationship learning capabilities in addition to our AddSentDiverse-based adversarial training data augmentation. With these additions, we show that we can make a state-of-the-art model significantly more robust, achieving a 36.5% increase in F1 score under many different types of adversarial evaluation while maintaining performance on the regular SQuAD task.

研究の動機と目的

• SQuAD データセット上で特に脆弱である最先端の機械理解モデルの脆弱性を是正すること。
• 過去の adversarial training 法が、adversarial データにおける低分散性と利用可能な統計的相関性のため失敗するという限界を克服すること。
• 特に意味的摂動（例：対義語）を伴う AddSent スタイルの攻撃に対してモデルのロバスト性を向上させること。
• 意味的関係学習（例：類義語・対義語）といったモデル能力の統合的強化と多様な adversarial training を組み合わせることで、ロバスト性が向上するかを検証すること。
• 提案手法が、質問応答タスクにおける他の挿入ベースの adversarial 攻撃へ一般化可能であるかを示すこと。

提案手法

• 誘導文の配置をランダム化し、動的かつ多様な偽回答を生成することで分散を高める、adversarial 例生成アルゴリズム AddSentDiverse を提案する。
• 固定および動的偽回答セットの組み合わせを用いることで、モデルが回答選択の表面的パターンを学習するのを防ぐ。
• WordNet を用いた類義語および対義語特徴を入力強化として導入し、モデルの意味的推論能力を向上させる。
• 通常の SQuAD データと AddSentDiverse で生成された adversarial データの両方でモデルを訓練することで、多様なネガティブ例を通じてロバスト性を向上させる。
• 二段階訓練戦略を採用：まず多様な例を用いた adversarial ファインチューニングを行い、その後意味的関係特徴を統合して一般化能力を向上させる。
• 異なる摂動タイプに対応する複数の adversarial テストセット（AddSent, AddSentPrepend, AddSentMod）を用いてモデルのロバスト性を測定する。

実験結果

リサーチクエスチョン

• RQ1 誘導文の配置と偽回答の生成を多様化することで、adversarial 訓練データの分散を高めることで、モデルのロバスト性が顕著に向上するか？
• RQ2 意味的関係特徴（例：類義語・対義語）を統合したトレーニングが、対義語のような意味的摂動に対してモデル性能を向上させるか？
• RQ3 なぜ adversarial 訓練だけでは意味的摂動に対するロバスト性向上に失敗するのか？ また、モデル能力をどのように強化すればこの問題を解決できるか？
• RQ4 提案手法は、質問応答タスクにおける他の挿入ベースの adversarial 攻撃へ一般化可能か？
• RQ5 adversarial 訓練と組み合わせた場合、意味的特徴の導入が元の SQuAD タスクの性能に向上をもたらすか？

主な発見

• AddSentDiverse を用いた adversarially 訓練されたモデルは、3 つの adversarial テストセットにおいて平均して F1 スコアが 24.22% 向上した。
• AddSentDiverse と動的偽回答を用いて訓練されたモデルは、より良い一般化性能を示し、異なる偽回答セットを有するデータセットでも性能低下を示さなかった。
• 意味的関係特徴（類義語・対義語）をモデルに追加することで、adversarial 評価における F1 スコアがベースライン比で 36.46% 向上した。
• adversarial 訓練を経た BSAE+SA モデルは、元の SQuAD デベロップメントセット（84.49 F1）で性能を維持したが、BSAE モデルは adversarial 訓練の影響で 1% の性能低下を示した。
• 誤差解析の結果、残存するエラーの 63.7% が元の SQuAD デベロップメントセットで既に誤分類されていた質問に起因しており、ロバストネス向上が主に adversarial 摂動に対して有効であることが示された。
• 名前付きエンティティ置換ベースの誘導文や、誤って質問に答えてしまう不正な形の誘導文に対して、依然としてモデルは困難を抱えていることが明らかになり、未解決の課題が残っている。