[論文レビュー] Stress Test Evaluation of Transformer-based Models in Natural Language Understanding Tasks

Carlos Aspillaga, Andrés Carvallo+1 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling被引用数 10

ひとこと要約

この論文は、自然言語推論（NLI）および質問応答（QA）タスクにおける敵対的ストレステストにおいて、最先端のTransformerベースのモデル（RoBERTa、XLNet、BERT）の耐性を評価している。従来のRNNモデルよりも耐性が高いことが示されたが、極端な摂動下では予期しない失敗を示し、一般化およびストレス下での推論における持続的な脆弱性が明らかになった。

ABSTRACT

There has been significant progress in recent years in the field of Natural Language Processing thanks to the introduction of the Transformer architecture. Current state-of-the-art models, via a large number of parameters and pre-training on massive text corpus, have shown impressive results on several downstream tasks. Many researchers have studied previous (non-Transformer) models to understand their actual behavior under different scenarios, showing that these models are taking advantage of clues or failures of datasets and that slight perturbations on the input data can severely reduce their performance. In contrast, recent models have not been systematically tested with adversarial-examples in order to show their robustness under severe stress conditions. For that reason, this work evaluates three Transformer-based models (RoBERTa, XLNet, and BERT) in Natural Language Inference (NLI) and Question Answering (QA) tasks to know if they are more robust or if they have the same flaws as their predecessors. As a result, our experiments reveal that RoBERTa, XLNet and BERT are more robust than recurrent neural network models to stress tests for both NLI and QA tasks. Nevertheless, they are still very fragile and demonstrate various unexpected behaviors, thus revealing that there is still room for future improvement in this field.

研究の動機と目的

• 極端なストレス状態下における最先端のTransformerベースのモデル（RoBERTa、XLNet、BERT）の耐性を体系的に評価すること。
• これらのモデルが、以前のRNNモデルと同様にデータセットのアーチファクトや表面的な手がかりに依存しているのか、真の意味理解に基づいているのかを調査すること。
• ノイズ、否定、反意語などの敵対的入力下での失敗モードや予期しない行動を同定すること。
• 同一のストレステストシナリオ下で、Transformerモデルの性能低下をそれ以前のRNNモデルと比較すること。
• 今後の耐性研究および敵対的訓練を支援するため、新しい敵対的SQuADデータセットを公開すること。

提案手法

• NLIおよびQAタスクにおける、無関係だが妥当な内容の干渉（distraction）、ノイズ（誤字、語の入れ替え）、否定、反意語などのストレステストを実施した。
• 自然言語推論にはMultiNLIデータセット、質問応答にはSQuADデータセットを用い、制御された摂動によって敵対的例を生成した。
• ノイズおよび敵対的例を導入することで、新しい敵対的SQuADデータセットを構築し、https://github.com/caspillaga/noisy-squad にて公開した。
• すべてのストレステスト条件において定量的性能分析を実施し、正答率の低下とモデルの挙動の変化を測定した。
• 推論中における注目行列の点検を実施し、入力と注目パターンの間の不一致を検出するため、モデルの注目状態を分析した。
• RoBERTa、XLNet、BERTの各モデルを同一のストレス条件下で比較し、相対的な耐性およびモデル固有の失敗パターンを評価した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa、XLNet、BERTは、NLIおよびQAタスクにおける敵対的ストレステストにおいて、従来のRNNベースのモデルと比べてどのように性能を示すか？
• RQ2 これらのモデルが、真の意味理解ではなく、データセットのアーチファクトや表面的な手がかりに依存している程度はどの程度か？
• RQ3 ノイズ、否定、反意語などの敵対的摂動のうち、どれがモデル性能を最も著しく低下させるか？
• RQ4 同じストレス条件下で、特定のモデルに特有の脆弱性が存在するか？
• RQ5 注目行列は、敵対的推論中に入力とモデルの注目状態の間に不一致を示し、誤った推論を示唆するか？

主な発見

• RoBERTa、XLNet、BERTは、ストレステストにおいてRNNベースのモデルよりも耐性が高かった。特にノイズおよび反意語処理において顕著で、大規模事前学習による影響が考えられる。
• 干渉テストでは性能が著しく低下し、特に否定条件で顕著だった。これは論理的推論および意味の反転に対する継続的な困難を示している。
• 反意語タスクでは強力な性能を示し、多様なコーパスでの事前学習が語の反意語関係を暗黙的に捉えている可能性を示唆している。
• アノテーションアーチファクトテストでは、モデルが前提文および仮説文の両方を考慮しており、ラベルバイアスに依存しているわけではない。NLIタスクではデータセットのアーチファクトを利用していない。
• QAタスクでは、敵対的およびノイズ入りの例がすべてのモデルの性能を低下させたが、RNNよりは低下幅が小さく、耐性の向上が確認された。
• 一部の敵対的例はモデル固有であり、あるモデルにのみ影響を与えることがあり、最先端のTransformerモデル間でも固有の失敗点が存在することが示された。