[論文レビュー] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Colin Raffel, Noam Shazeer+7 more|arXiv (Cornell University)|Oct 23, 2019

Topic Modeling被引用数 8,320

ひとこと要約

本論文はT5を紹介する。すべてのNLPタスクをテキスト-to-テキスト問題へ変換する統一的なテキスト-テキストTransformersフレームワークであり、大規模C4コーパスで事前学習を行い、多様なベンチマークで最先端の結果を達成する。

ABSTRACT

Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new ``Colossal Clean Crawled Corpus'', we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.

研究の動機と目的

• すべてのタスクをテキスト-to-テキスト問題として扱うことにより、NLPにおける転移学習を研究する統一的なフレームワークの動機づけを行う。
• 大規模での事前学習目的、アーキテクチャ、データセット、および転移アプローチを調査・比較する。
• モデルサイズとデータを拡大することが、さまざまなNLPタスクで強力な性能を生み出すことを示す。

提案手法

• BERTサイズのベースラインに似たエンコーダ-デコーダーTransformersアーキテクチャを採用するが、より大きな容量へとスケールさせる。
• すべてのタスクをテキスト-to-テキスト問題として定式化し、出力を指定するためのタスクプレフィックスを用いる。
• Colossal Clean Crawled Corpus (C4)上でノイズ除去目的で事前学習を行い、逆平方根学習率スケジュールを適用する。
• 下流タスクに対して統一されたトレーニング設定でファインチューニングを行い、推論時には貪欲デコードを使用する。
• 英語および非英語翻訳タスクをサポートするため、共有多言語語彙を持つSentencePieceを使用する。
• 再現性を高めるためにコード、データ、事前学習済みモデルを公開する。

実験結果

リサーチクエスチョン

• RQ1 NLPタスクをテキスト-to-テキスト問題へ再定義することは、転移学習の有効性にどのような影響を与えるか。
• RQ2 モデルの規模とデータの品質・サイズが、広範なNLPタスクの性能にどのような影響を与えるか。
• RQ3 異なる事前学習データ、目的、およびアーキテクチャが、統一フレームワークにおける転移学習とどのように相互作用するか。

主な発見

• テキスト-to-テキストのフレーミングと統一モデルは、要約、QA、翻訳、分類のベンチマークで高い性能を発揮する。
• 数十億パラメータに達するモデルへスケールさせ、クリーンな大規模コーパスで学習すると、多くのタスクで最先端の結果をもたらす。
• C4は豊富なラベルなしデータ資源を提供し、このアプローチは多様なNLPタスクに対する大規模事前学習の価値を示している。
• 統一フレームワークは、タスク空間の複雑さにもかかわらず、転移学習ファクターの体系的な比較を可能にする。
• 著者らはNLP転移学習の今後の研究を促進するためにデータ、モデル、コードを公開する。