[論文レビュー] Efficient Long-Text Understanding with Short-Text Models

Maor Ivgi, Uri Shaham+1 more|arXiv (Cornell University)|Aug 1, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、SLEDという手法を提案する。SLEDは、入力を重複するチャンクに分割し、各チャンクを個別にエンコードし、事前学習済みデコーダーを用いて表現を統合することで、市販の短テキスト事前学習済みエンコーダーデコーダーモデル（例：BART、T5）が長文を効率的に理解できるようにする。SLEDは、専用の長文対応モデル（例：LongT5 base や UL2）と同等またはそれ以上の性能を達成しており、モデルサイズは最大50分の1であり、追加の事前学習を必要としない。

ABSTRACT

Transformer-based pretrained language models (LMs) are ubiquitous across natural language understanding, but cannot be applied to long sequences such as stories, scientific articles and long documents, due to their quadratic complexity. While a myriad of efficient transformer variants have been proposed, they are typically based on custom implementations that require expensive pretraining from scratch. In this work, we propose SLED: SLiding-Encoder and Decoder, a simple approach for processing long sequences that re-uses and leverages battle-tested short-text pretrained LMs. Specifically, we partition the input into overlapping chunks, encode each with a short-text LM encoder and use the pretrained decoder to fuse information across chunks (fusion-in-decoder). We illustrate through controlled experiments that SLED offers a viable strategy for long text understanding and evaluate our approach on SCROLLS, a benchmark with seven datasets across a wide range of language understanding tasks. We find that SLED is competitive with specialized models that are up to 50x larger and require a dedicated and expensive pretraining step.

研究の動機と目的

• 二次的な計算複雑性に起因する、標準的な事前学習済み言語モデルが長文シーケンスに適用されるのを制限する課題に対処する。
• 特別な長文対応アーキテクチャを用いた、高価なカスタム事前学習を回避する。代わりに、既存の市販の短テキストモデルを再利用する。
• アーキテクチャの変更や追加の事前学習を必要とせず、強力な長文性能を実現するシンプルで汎用性の高いフレームワークを開発する。
• さまざまなNLPベンチマークにおける長距離依存関係の要件を分析するための診断ツールを提供する。
• チャンク化エンコーディングとデコーダー統合を用いた統合手法が、実世界のタスクにおける長距離推論を効果的に処理できることを示す。

提案手法

• 局所的コンテキストの連続性を保つために、固定長の重複するチャンクに長文入力を分割する。
• 市販のエンコーダーデコーダー言語モデル（例：BART、T5）の事前学習済みエンコーダーを用いて、各チャンクを個別にエンコードする。
• すべてのエンコード済みチャンク表現を、すべてのチャンクに注目するように設計された事前学習済みデコーダーに供給し、クロスチャンク統合を実行する。
• デコーダーの自己回帰的生成機能を活用して、統合された表現に基づき最終出力を生成する。これは、Fusion-in-Decoder（FiD）を長文に適応させたものであり、文書全体の統合を実現する。
• 各チャンクごとにバックボーンモデルの位置エンコーディングを独立して利用することで、任意の入力長に一般化可能である。
• エッジトークンの耐性を高めるために、重複するチャンクを使用し、境界を越えてコンテキストを保持するための有効なチャンクトークンを定義する。

実験結果

リサーチクエスチョン

• RQ1 既存の短テキストモデルを再利用するシンプルでモジュラーなフレームワークが、特別な事前学習を必要とせず、競争力のある長文理解性能を達成できるか？
• RQ2 チャンク化エンコーディングとデコーダー統合は、専用の長文対応アーキテクチャと比較して、長距離推論にどの程度効果的か？
• RQ3 SCROLLSのような長文ベンチマークは、遠く離れた非局所的コンテキストにどの程度依存しているのか？また、どのタスクがより深いクロスチャンク推論を必要としているのか？
• RQ4 SLEDの性能はモデルサイズや入力長に応じてどのようにスケーリングされるか？また、最先端の専用モデルと比較してどうなるか？
• RQ5 SLEDは、さまざまなNLPタスクにおける長距離依存関係の要件を分析する診断ツールとして機能できるか？

主な発見

• SLEDは、複数のタスクにおいて、事前学習済みモデルのSCROLLS平均スコアを6ポイント向上させ、長文ベンチマークにおける強力な一般化性能を示した。
• BART large - SLEDは、長距離依存関係に特化して事前学習されたLongT5 baseと同等の性能を達成しており、パラメータ数は50分の1にとどまる。
• SLEDは、50倍も大きなUL2よりSCROLLSベンチマークで優れた性能を示し、効果的なアーキテクチャ再利用により、パrameter効率が性能を損なわないことを実証した。
• SLEDは、訓練データが限られたデータセットにおいて特に優れた性能を発揮し、小規模な長文データセットで一般化性能が低いLEDよりも顕著に優れている。
• 制御実験により、SLEDが長文シーケンス内での関連情報の特定と、独立してエンコードされたチャンクからの情報統合を効果的に行えることが確認された。
• SLEDを用いた分析により、SCROLLSにおけるQAおよびNLIタスクは比較的局所的なコンテキスト化を必要としているのに対し、要約や特定のNLIタスクは長距離統合によりより利益を享受することがわかった。