[論文レビュー] Leveraging Locality in Abstractive Text Summarization

Yixin Liu, Ansong Ni+5 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、空間的・談話的・文書レベルの局所性に基づいて長文ドキュメントを重複のないページに分割する、局所性に配慮した抽出的要約モデルPageSumを提案する。各ページで完全注意（full-attention）を適用でき、効率的な全文の注意モデル化を可能にする。効率的な注意機構を用いた強力なベースラインと比較して、ROUGEスコアで競争力のある性能を達成しており、長文要約において局所性に基づく誘導的バイアスが、メモリ効率の良い注意近似手法を上回ることを示している。

ABSTRACT

Neural attention models have achieved significant improvements on many natural language processing tasks. However, the quadratic memory complexity of the self-attention module with respect to the input length hinders their applications in long text summarization. Instead of designing more efficient attention modules, we approach this problem by investigating if models with a restricted context can have competitive performance compared with the memory-efficient attention models that maintain a global context by treating the input as a single sequence. Our model is applied to individual pages which contain parts of inputs grouped by the principle of locality during both encoding and decoding. We empirically investigated three kinds of locality in text summarization at different levels of granularity, ranging from sentences to documents. Our experimental results show that our model has a better performance compared with strong baselines with efficient attention modules, and our analysis provides further insights into our locality-aware modeling strategy.

研究の動機と目的

• 制限されたコンテキストを持つモデルが、長文の抽出的要約において、メモリ効率の良い注意モデルの性能を再現または上回るかどうかを調査すること。
• 空間的・談話的・文書レベルの異なる種類の局所性が、要約において誘導的バイアスとしてどれほど有効であるかを評価すること。
• エンコーディングおよびデコーディングの両方で局所性を活用することで、自己注意機構の2次関数的メモリ複雑度を低下させつつ、性能を損なわないようにすること。
• 完全注意機構を局所性に配慮したフレームワーク内に維持することで、BARTのような事前学習モデルとの互換性を保つこと。
• 局所性に基づくモデリングが、効率的な注意近似手法の代替手段として実用的であるという実証的証拠を提供すること。

提案手法

• 入力ドキュメントは、局所性の原則に基づいて重複のないページに分割される：連続的な近接性（空間的）、セクションの境界（談話的）、クラスタ内の個々の文書（文書レベル）。
• 各ページは、BARTのようなモデルの元の注意メカニズムを保持する完全注意Transformerエンコーダーを独立して使用して符号化される。
• デコーダーは各ページの局所的要約を生成し、その予測と予測の信頼度スコアを出力する。
• 最終的な要約は、信頼度スコアを用いて重み付けされた局所的予測の組み合わせとして生成される。
• エンコーディングおよびデコーディング中にページ間の注意は維持されず、厳密な局所性の誘導的バイアスが強制される。
• 3種類の局所性が評価される：文レベルの空間的局所性、セクションレベルの談話的局所性、マルチドキュメント設定における文書レベルの局所性。

実験結果

リサーチクエスチョン

• RQ1 制限されたコンテキストを持つ局所性に配慮したモデリング戦略は、長文要約において効率的な注意モデルと同等またはそれ以上の性能を達成できるか？
• RQ2 空間的・談話的・文書レベルのどの種類の局所性が、さまざまな要約タスクにおいて最も優れた性能をもたらすか？
• RQ3 各ページ内で完全注意機構を維持することで、グローバルコンテキストを保持する効率的な注意近似手法よりも優れた性能が得られるか？
• RQ4 相関する文が離れている長距離依存関係は、局所性に基づくモデルの性能にどのように影響するか？
• RQ5 現実世界のドキュメントに内在する空間的局所性は、ページベースの要約フレームワークの設計をどの程度支援するか？

主な発見

• PageSumは、効率的な注意モジュールを備えた強力なベースラインを上回り、arXivおよびGovReportデータセットで競争的またはより高いROUGEスコアを達成した。
• 空間的局所性が強いarXivデータセットでは、ROUGE-L F1スコア42.1を記録し、LongformerやBigBirdを上回る優れた性能を示した。
• GovReportデータセットでは、空間的局所性が低いにもかかわらず、ROUGE-L F1スコア38.5を達成し、強力な性能を示した。
• 2つの関連する文が離れている場合、長距離依存関係を正しく捉えられず、ケーススタディでは2つの寄与文のうち1つしか抽出されなかった。
• この制限にもかかわらず、長距離依存関係は比較的まれであり、arXivデータセットでは、相関する文のペアのうち1.8％しか距離比が0.5を超えない。
• これらの結果から、効率的な注意モデルがグローバル依存関係を完全に捉えることを設計目的としているものの、実際には局所性に基づくモデルが完全注意を各ページに適用することで、同等またはより優れた性能を達成できる可能性があることが示唆された。