[論文レビュー] Adapting Pretrained Text-to-Text Models for Long Text Sequences

Wenhan Xiong, Anchit Gupta+3 more|arXiv (Cornell University)|Sep 21, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文では、BARTなどの事前学習済みテキスト-テキストモデルを長文処理タスクに適応させるレシピを提示する。その手法として、プーリング拡張ブロックワイズアテンションの導入、CommonCrawlからランダムに連結された短文ドキュメントを用いた事前学習、および可変長スパンを含むマスクスパン予測目的の採用を行う。得られたモデルは、5つの長文要約ベンチマークで最先端の性能を達成し、長文QAでも競争力ある結果を示し、より大きなモデルを上回る性能を発揮する。

ABSTRACT

We present an empirical study of adapting an existing pretrained text-to-text model for long-sequence inputs. Through a comprehensive study along three axes of the pretraining pipeline -- model architecture, optimization objective, and pretraining corpus, we propose an effective recipe to build long-context models from existing short-context models. Specifically, we replace the full attention in transformers with pooling-augmented blockwise attention, and pretrain the model with a masked-span prediction task with spans of varying length. In terms of the pretraining corpus, we find that using randomly concatenated short-documents from a large open-domain corpus results in better performance than using existing long document corpora which are typically limited in their domain coverage. With these findings, we build a long-context model that achieves competitive performance on long-text QA tasks and establishes the new state of the art on five long-text summarization datasets, often outperforming previous methods with larger model sizes. Our code has been released at https://github.com/facebookresearch/bart_ls.

研究の動機と目的

• 既存の短文処理事前学習モデルを長文処理タスクに効果的かつ効率的に適応する手法を開発すること。
• モデルアーキテクチャ、事前学習コーパス、最適化目的の各要因が長文処理性能に与える影響を調査すること。
• オープンドメインコーパスから合成された長文ドキュメントが、実際の長文ドキュメントコレクションを上回る性能を発揮するかどうかを検証すること。
• 長文処理学習に適した異なる事前学習目的の有効性を評価すること。
• 下流タスクで大規模モデルを上回るか同等の性能を発揮する、強力で効率的な長文処理モデルを構築すること。

提案手法

• 変換器における標準的なフル自己アテンションを、複雑性を二次関数的減らすプーリング拡張ブロックワイズアテンションに置き換えることで、長文処理を可能にする。
• C4コーパスの短文ドキュメントをランダムに連結することで、大規模かつ多様な事前学習コーパスとしての仮想長文ドキュメントを構築する。
• 可変長スパンを含むマスクスパン予測目的を用いてモデルを事前学習することで、異なるシーケンス長にわたる一般化性能を向上させる。
• ベースモデルのパrameterizationを変更せずに、グローバルトークンとプーリング層をエンコーダーに統合し、長距離依存性のモデリングを強化する。
• 既存の短文処理モデルの重みを活用し、再学習による微調整を実施することで、コストの高いトレーニングから完全に回避する。
• 標準的なテキスト-テキストフレームワークを採用することで、要約や質問応答などの下流タスクへの直接的な転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 プーリング拡張ブロックワイズアテンションは、長文処理タスクにおいて他の長距離アテンション機構よりも優れているか？
• RQ2 大規模なオープンドメインコーパスからランダムに連結された短文ドキュメントを用いた事前学習は、既存の長文ドキュメントコーパスを用いるよりも効果的か？
• RQ3 マスクスパン予測、主文の予測、モデルベースのスパン予測のうち、どの事前学習目的が長文処理タスクで最も優れた性能を発揮するか？
• RQ4 短文処理事前学習モデルから適応されたモデルは、トレーニングから再始動することなく、長文要約タスクで最先端の結果を達成できるか？
• RQ5 アーキテクチャ、コーパス、目的の各要因が長文処理モデル性能に与える相対的寄与度はどの程度か？

主な発見

• プーリング拡張ブロックワイズアテンションは、グローバルトークンやスライディングウィンドウアテンションといった他の長距離アテンション機構と比較して、複数の長文処理タスクで顕著に優れた性能を発揮する。
• C4からランダムに連結された短文ドキュメントを用いた事前学習は、ドメイン特化された長文ドキュメントコレクション（例：書籍コレクション）を用いた場合よりも優れた性能を発揮する。
• 可変長スパンを含むマスクスパン予測目的は、短出力および長出力タスクの両方で優れたバランスを実現し、他の目的を上回る性能を発揮する。
• 適応されたモデルは、5つの長文要約ベンチマークで新たな最先端性能を達成し、3つのデータセットではROUGE-2の相対的向上率が10%を超える。
• 比較的小さなサイズであるにもかかわらず、長文QAタスクでより大きなモデルを上回る性能を発揮し、この適応レシピの有効性を示している。
• モデルの性能向上は、多様な下流タスクにわたり一貫しており、提案された事前学習レシピが広く有効であることを裏付けている。