[論文レビュー] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

Michael Lewis, Yinhan Liu+6 more|arXiv (Cornell University)|Oct 29, 2019

Topic Modeling被引用数 235

ひとこと要約

BART は、双方向エンコーディングと自己回帰デコーディングを組み合わせた denoising autoencoder pretraining framework で、生成と理解タスクの両方で強力な性能を発揮し、識別タスクでも競争力のある結果を達成します。

ABSTRACT

We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-based neural machine translation architecture which, despite its simplicity, can be seen as generalizing BERT (due to the bidirectional encoder), GPT (with the left-to-right decoder), and many other more recent pretraining schemes. We evaluate a number of noising approaches, finding the best performance by both randomly shuffling the order of the original sentences and using a novel in-filling scheme, where spans of text are replaced with a single mask token. BART is particularly effective when fine tuned for text generation but also works well for comprehension tasks. It matches the performance of RoBERTa with comparable training resources on GLUE and SQuAD, achieves new state-of-the-art results on a range of abstractive dialogue, question answering, and summarization tasks, with gains of up to 6 ROUGE. BART also provides a 1.1 BLEU increase over a back-translation system for machine translation, with only target language pretraining. We also report ablation experiments that replicate other pretraining schemes within the BART framework, to better measure which factors most influence end-task performance.

研究の動機と目的

• 生成と理解の両方のタスクをサポートする多用途な事前学習目的を動機づける。
• 広範なテキスト破損（noising）スキームを探索し、どのスキームが下流の性能を堅牢にするかを特定する。
• 単一の事前学習済みモデルを多様なタスク（分類、QA、生成、翻訳）にファインチューニングできることを示す。
• denoising seq2seq pretraining が複数のベンチマークで既存の強力な事前学習法に匹敵するか、上回ることを示す。

提案手法

• 双方向エンコーダと自己回帰デコーダを備えた標準的な Transformer ベースの seq2seq アーキテクチャを使用する。
• 任意の noising 関数で文書を破損させ、元のテキストを再構成することを目的とした事前学習を行う（負の対数尤度）。
• トークンマスキング、トークン削除、テキスト埋め込み、文の並べ替え、文書の回転、そしてそれらの組み合わせを含む複数の noising 手法を評価する。
• タスク固有の適応を施して、シーケンス分類、トークン分類、シーケンス生成、機械翻訳をファインチューニングする。
• 翻訳のため、外国語の語を英語に写す小さな追加エンコーダを備えた BART を拡張し、別個の語彙でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 破損したテキスト上で動作する denoising autoencoder pretraining objective は、生成と理解のタスクの両方に一般化できるだろうか？
• RQ2 どの noising スキームが、多様な NLP ベンチマークにおいて堅牢なエンドタスク性能をもたらすか？
• RQ3 識別タスクと生成タスクの両方で、BART は既存の事前学習手法（例：BERT、RoBERTa、XLNet）とどう比較されるか？
• RQ4 追加エンコーダを用いてデコーダとして使用した場合、単一の事前学習済みモデルは機械翻訳を改善できるか？
• RQ5 異なる事前学習目的が下流の性能に与える影響を明らかにするアブレーションは何を示すか？

主な発見

• BART は、識別タスクで GLUE および SQuAD に対する RoBERTa ライクな性能を維持しつつ、抽象的タスクで最先端の結果を達成します。
• Text infilling および関連する noising スキームは、さまざまなタスクで一貫して高い性能を発揮し、多くの設定で他の事前学習目的を上回る。
• 要約では、BART は先行研究を大きく凌駕し、XSum のような abstractive データセットで顕著な向上を示す。
• 翻訳では、BART を事前学習済みデコーダとして用い、追加の小さなエンコーダを付けると、強力なバック翻訳ベースラインを上回る BLEU の利得が得られる。
• アブレーション研究は、前処理の選択と事前学習目的がエンドタスクの性能に影響を与えることを示し、生成タスクには双方向エンコーダと自己回帰デコーダが有利である。