[論文レビュー] A Survey on Long Text Modeling with Transformers

Zican Dong, Tianyi Tang+2 more|arXiv (Cornell University)|Feb 28, 2023

Topic Modeling被引用数 14

ひとこと要約

この調査は、Transformer ベースの長文モデリングをレビューし、形式的定義、前処理、文脈を拡張するアーキテクチャ、および応用を扱う。

ABSTRACT

Modeling long texts has been an essential technique in the field of natural language processing (NLP). With the ever-growing number of long documents, it is important to develop effective modeling methods that can process and analyze such texts. However, long texts pose important research challenges for existing text models, with more complex semantics and special characteristics. In this paper, we provide an overview of the recent advances on long texts modeling based on Transformer models. Firstly, we introduce the formal definition of long text modeling. Then, as the core content, we discuss how to process long input to satisfy the length limitation and design improved Transformer architectures to effectively extend the maximum context length. Following this, we discuss how to adapt Transformer models to capture the special characteristics of long texts. Finally, we describe four typical applications involving long text modeling and conclude this paper with a discussion of future directions. Our survey intends to provide researchers with a synthesis and pointer to related work on long text modeling.

研究の動機と目的

• 長文モデリングとそのタスクの形式的定義を提供する。
• 長文を事前処理モデル（PLMs）へ適応させる前処理技術を要約する。
• 文脈長を拡張しつつ効率を維持する Transformer アーキテクチャを検討する。
• 長文の特徴（長期依存、文間関係、談話構造）とモデリング戦略を考察する。
• 長文モデリングの一般的な応用と今後の方向性を概説する。

提案手法

• 長文モデリングを Y = f(g(X); C, M) と定義し、前処理 g、特徴 C、Transformer モデル M を用いる。
• 出力タイプでタスクを分類する：シーケンス（抽出/生成）とラベル（分類）。
• 前処理手法の詳細：切り捨て、チャンク化、内容選択とそれらの定式化およびトレードオフ。
• 効率的な Transformer バリアント（固定/学習可能な注意機構、カーネル、メモリベースのリカレント Transformer）とエンコーダ–デコーダの注意戦略を調査する。
• 長文用の事前学習目的（MLM、文レベルの目的、文書対応の順序付け）を長いシーケンスに適用する。
• 階層構造、グラフ、談話意識設計などのアーキテクチャを通じて長文の特徴に対処する方法を説明する。

実験結果

リサーチクエスチョン

• RQ1 PLMs の最大文脈長を考慮した長文をいかに効果的に処理できるか？
• RQ2 どの Transformer アーキテクチャと注意戦略が、計算・メモリコストを許容しつつ最も文脈を拡張できるか？
• RQ3 長文における長期依存、文間関係、談話構造を捉えるようモデルをどう適応させるべきか？
• RQ4 Transformerによる長文モデリングの典型的な応用と将来の方向性は何か。

主な発見

• 切り捨ては、切り捨てられた部分に重要な情報が含まれる場合には有力なベースラインとなるが、情報損失のリスクがある。
• チャンク化は全内容を保持するが、セグメント間の長距離依存を破る可能性がある；文脈融合戦略が不可欠。
• 内容選択は入力サイズを削減するが、検索機の品質に依存し、段階を整合させるために結合学習や強化学習ベースの訓練が必要となることがある。
• 効率的な注意機構の変種とメモリベースのリカレント Transformer は、速度・メモリ・精度の間でさまざまなトレードオフを持って文脈を拡張する。
• 事前学習と特殊な目的（文レベル、文書レベル）は、標準 MLM を超える長文表現の改善につながる。
• グラフベースおよび階層的アプローチは、長文における文間関係と談話構造を効果的にモデル化する。