[論文レビュー] LongT5: Efficient Text-To-Text Transformer for Long Sequences

Mandy Guo, Joshua Ainslie+5 more|arXiv (Cornell University)|Dec 15, 2021

Topic Modeling被引用数 6

ひとこと要約

LongT5は、長文処理NLPタスクにおける性能向上を図るために、同時に入力シーケンス長とモデルサイズを拡大するスケーラブルなTransformerアーキテクチャを導入する。独自のTGlobalアテンションメカニズムを採用し、補助入力を必要とせずにETCの局所的／グローバルアテンションを模倣する。また、PEGASUS風の事前学習を採用し、arXiv、PubMed、BigPatentを含む要約および質問応答ベンチマークで最先端の結果を達成。最大16kの入力トークンを処理可能。

ABSTRACT

Recent work has shown that either (1) increasing the input length or (2) increasing model size can improve the performance of Transformer-based neural models. In this paper, we present a new model, called LongT5, with which we explore the effects of scaling both the input length and model size at the same time. Specifically, we integrated attention ideas from long-input transformers (ETC), and adopted pre-training strategies from summarization pre-training (PEGASUS) into the scalable T5 architecture. The result is a new attention mechanism we call {\em Transient Global} (TGlobal), which mimics ETC's local/global attention mechanism, but without requiring additional side-inputs. We are able to achieve state-of-the-art results on several summarization tasks and outperform the original T5 models on question answering tasks.

研究の動機と目的

• Transformerモデルにおける入力長とモデルサイズのスケーリングがもたらす性能向上を調査すること。
• 長文シーケンスにおける完全自己アテンションの2次関数的計算コストを軽減するための効率的アテンションメカニズムを導入すること。
• 抽象的要約に適したPEGASUS風事前学習を、多様な長文シーケンスタスクに応用して性能を向上させること。
• アーキテクチャの大幅な変更や補助入力なしに、長文ドキュメントにおけるスケーラブルかつ高性能なテキスト対テキストモデリングを可能にすること。
• モデルアーキテクチャ、トレーニングコード、事前学習チェックポイントをコミュニティ利用可能にオープンソース化すること。

提案手法

• 標準的な自己アテンションの即時置き換えが可能なTGlobalアテンションを導入。入力トークンのグループからオンザフライでグローバルトークンを合成し、外部の補助入力なしに局所的スパarsityを実現する。
• PEGASUS事前学習目的を改変し、重要な文をマスクし、マスクされた部分を自己回帰的に生成させるようにすることで、長文処理タスクにおける性能を向上させる。
• T5アーキテクチャにTGlobalアテンションをエンコーダー部にのみ適用し、既存のT5パイプラインや推論フレームワークとの互換性を維持する。
• 2段階のトレーニング戦略を採用：まず長文ドキュメントでスパン破損と主要文生成を用いた事前学習を行い、その後下流タスクで微調整する。
• メモリ制約下でも可能な限りモデルサイズと入力長を同時にスケーリングし、限界に挑戦する。
• 階層的アテンション設計を採用。局所アテンションは近隣トークンに計算を制限し、グローバルトークンは長距離依存性のモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 入力長とモデルサイズを同時にスケーリングすることで、長文NLPタスクにおける性能向上が顕著に得られるか？
• RQ2 TGlobalアテンションは、完全自己アテンションや他のスパースアテンション機構と比較して、長文シーケンスにおける性能と効率性の面で優れているか？
• RQ3 PEGASUS風事前学習は、要約を越えて長文処理タスクにおける一般化性能を向上させるか？
• RQ4 長文モデリングにおいて、モデルサイズ、入力長、計算コストの間にはどのようなトレードオフがあるか？
• RQ5 アーキテクチャの変更なしに、修正されたT5モデルが長文要約および質問応答ベンチマークで最先端の結果を達成できるか？

主な発見

• arXiv要約データセットでは、LongT5がROUGEスコアで最先端を記録。16k入力長でR-LのF1スコアが44.03に達し、すべてのベースラインを上回った。
• PubMed要約タスクでは、16k入力長でR-LのF1スコアが46.56に達し、以前の最良モデル（PSG）を1.53ポイント上回った。
• アブレーションスタディの結果、arXivおよびPubMed両データセットで、PEGASUS風事前学習（PSG）がスパン破損（SC）よりも1.2～1.5ROUGEポイント優れていた。
• TGlobalアテンションのおかげで、LongT5は完全アテンションと比較してわずかな性能低下で16k入力長までスケーリング可能であり、同時に2次関数的複雑度の削減を達成した。
• BigPatent、MediaSum、TriviaQAでも最先端の結果を達成し、要約を越えた広範な適用可能性を示した。
• 微調整時においても長文シーケンスで強力な性能を維持しており、スケーリング戦略の有効性を裏付けた。