[論文レビュー] Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Colin Raffel, Noam Shazeer+7 more|arXiv (Cornell University)|Oct 23, 2019

Topic Modeling参考文献 125被引用数 3,692

ひとこと要約

この論文は T5 を紹介する。テキストを入力からテキスト出力へ統一するテキスト対テキストフレームワークを採用し、事前学習の目的・アーキテクチャ・データ・スケーリングを体系的に研究して、多様なタスクで最先端の結果を達成する。

ABSTRACT

Transfer learning, where a model is first pre-trained on a data-rich task before being fine-tuned on a downstream task, has emerged as a powerful technique in natural language processing (NLP). The effectiveness of transfer learning has given rise to a diversity of approaches, methodology, and practice. In this paper, we explore the landscape of transfer learning techniques for NLP by introducing a unified framework that converts all text-based language problems into a text-to-text format. Our systematic study compares pre-training objectives, architectures, unlabeled data sets, transfer approaches, and other factors on dozens of language understanding tasks. By combining the insights from our exploration with scale and our new ``Colossal Clean Crawled Corpus'', we achieve state-of-the-art results on many benchmarks covering summarization, question answering, text classification, and more. To facilitate future work on transfer learning for NLP, we release our data set, pre-trained models, and code.

研究の動機と目的

• 多様な NLP タスクをテキスト対テキスト問題として変換する、統一されたテキスト対テキストフレームワークを提供する。
• 事前学習 objectives、アーキテクチャ、無ラベルデータ、転移手法の影響を体系的に評価する。
• 転移学習の限界を押し広げるためにモデルとデータをスケールさせ、複数のベンチマークで最先端の結果を達成する。

提案手法

• BERT規模のスタックに似たエンコーダ-デコーダのTransformerアーキテクチャを採用するが、ベースラインではより大きな設定（概ね 220M パラメータ）とする。
• すべてのタスクをテキスト対テキスト問題として定式化し、タスク特有のプレフィックスを用いて対象タスクを指定する。
• Colossal Clean Crawled Corpus (C4) で denoising 目的で事前学習し、下流タスクでファインチューニングする。
• 入力と出力の両方で共用される SentencePiece を介して固定語彙 32,000 WordPieces を用い、非英語翻訳データを含む。
• 事前学習には逆平方根学習率スケジュールを用い、ファインチューニングには固定学習率を用いる。
• Cloud TPU Pods 上でデータ並列およびモデル並列アプローチによるモデルスケーリングを検討する。

実験結果

リサーチクエスチョン

• RQ1 広範な NLP タスクの範囲で、ラベルなしコーパスで事前学習した単一の統一テキスト対テキストモデルはどれくらい良く機能するか？
• RQ2 事前学習の目的、モデルアーキテクチャ、データセットが下流タスクの性能に及ぼす相対的な影響は何か？
• RQ3 モデルサイズとデータのスケーリングが、生成タスクと識別タスクを問わず転移学習性能にどのように影響するか？
• RQ4 NLP の転移学習における事前学習で、大規模でクリーンなウェブコーパス（C4）を使用する利点は何か？

主な発見

• 統一されたテキスト対テキスト Transformer の事前学習は、翻訳、QA、要約、分類のベンチマークで強い結果を生む。
• パラメータとデータを大規模化し、数十億トークンに及ぶ大規模モデルサイズまで拡張することで、多くのタスクの性能が向上する。
• 一貫した訓練およびデコード手法を持つ単一モデルは、多様なタスク群でタスク固有アーキテクチャを上回ることがある。
• Colossal Clean Crawled Corpus (C4) は、統一フレームワークのための効果的な自己教師付き事前学習を可能にする。
• 適切にスケールすると、要約、QA、分類、翻訳などの複数のベンチマークで最先端の結果を達成する。