[論文レビュー] ERNIE 2.0: A Continual Pre-training Framework for Language Understanding

Yu Sun, Shuohuan Wang+5 more|arXiv (Cornell University)|Jul 29, 2019

Topic Modeling参考文献 30被引用数 74

ひとこと要約

ERNIE 2.0 は継続的事前学習を拡張し、語彙・統語・意味知識を段階的に学習することで、GLUEの英語タスクと中国語データセットで BERT および XLNet を上回る改善を達成します。

ABSTRACT

Recently, pre-trained models have achieved state-of-the-art results in various language understanding tasks, which indicates that pre-training on large-scale corpora may play a crucial role in natural language processing. Current pre-training procedures usually focus on training the model with several simple tasks to grasp the co-occurrence of words or sentences. However, besides co-occurring, there exists other valuable lexical, syntactic and semantic information in training corpora, such as named entity, semantic closeness and discourse relations. In order to extract to the fullest extent, the lexical, syntactic and semantic information from training corpora, we propose a continual pre-training framework named ERNIE 2.0 which builds and learns incrementally pre-training tasks through constant multi-task learning. Experimental results demonstrate that ERNIE 2.0 outperforms BERT and XLNet on 16 tasks including English tasks on GLUE benchmarks and several common tasks in Chinese. The source codes and pre-trained models have been released at https://github.com/PaddlePaddle/ERNIE.

研究の動機と目的

• 事前学習における単純な共起を超える必要性を動機づけ、コーパス内の語彙的・統語的・意味情報を活用する。
• 継続的なマルチタスク事前学習フレームワーク（ERNIE 2.0）を提案し、多様な事前学習タスクを段階的に構築・学習する。
• 英語のGLUEベンチマークおよびさまざまな中国語NLPタスクで、BERTおよびXLNetより改善を示す。

提案手法

• 大規模コーパスからの自己教師付きまたは弱教師付き信号を用いて、語彙認識・構造認識・意味認識を備えた事前学習タスクを構築する。
• タスク埋め込みを用いた共有Transformerエンコーダを採用し、タスク間の知識移転を可能にする。
• 新しいタスクでモデルを更新しつつ、以前に学習した知識を保持する継続的マルチタスク学習を実装し、タスクごとにN回の訓練イテレーションを用いて効率と忘却のバランスを取る。
• Transformer フレームワーク内で [CLS] トークンと [SEP] 区切りを使用し、タスクを区別するためのタスク埋め込みを用いる。
• 事前学習済みの ERNIE 2.0 モデルを、QA・NLI・意味的類似性などの下流タスクにファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 語彙情報・統語情報・意味情報を活用した継続的マルチタスク事前学習は、単一タスク事前学習よりも優れた言語表現を生み出せるのか？
• RQ2 以前に学習した知識を忘れず、かつ効率性を保ちつつ、複数の事前学習タスクを継続的に訓練するにはどうすべきか？
• RQ3 ERNIE 2.0 の表現は、標準的な英語ベンチマーク（GLUE）および中国語NLPタスクで、BERTおよびXLNetと比較して高い性能を達成するのか？

主な発見

• ERNIE 2.0 は、英語GLUEベンチマークを含む16タスクおよびいくつかの中国語タスクでBERTおよびXLNetを上回る。
• 英語GLUEの結果では、ERNIE 2.0 LARGE がほとんどのタスクで BERT LARGE および XLNet LARGE を上回り、GLUE テストスコアは 83.6、以前の state-of-the-art BERT LARGE に対して 3.1% の改善を達成。
• 中国語タスクでは、ERNIE 2.0 LARGE が9タスクで最高の性能を示し、ERNIE 1.0 BASE はすでにいくつかのタスクで BERT を上回っており、ERNIE 2.0 がさらに結果を進展させた。
• 継続的マルチタスク学習戦略は、ゼロからのマルチタスク学習および従来の継続学習の双方より優れており、知識保持とタスク適応が効果的であることを示す。