[論文レビュー] Long Document Summarization with Top-down and Bottom-up Inference

Bo Pang, Erik Nijkamp+4 more|arXiv (Cornell University)|Mar 15, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、長文ドキュメント要約のためのトップダウンおよびボトムアップ推論フレームワークを提案する。局所的自己注意機構を用いてトークンレベルの表現を取得し、セグメントレベルでのグローバル自己注意機構を用いて長距離依存関係を捉えることで、効率性と性能の両方を向上させる。この手法は、長文要約ベンチマークで最先端の結果を達成し、GPT-3モデルのパラメータのわずか0.27%で本を要約可能である。

ABSTRACT

Text summarization aims to condense long documents and retain key information. Critical to the success of a summarization model is the faithful inference of latent representations of words or tokens in the source documents. Most recent models infer the latent representations with a transformer encoder, which is purely bottom-up. Also, self-attention-based inference models face the challenge of quadratic complexity with respect to sequence length. We propose a principled inference framework to improve summarization models on these two aspects. Our framework assumes a hierarchical latent structure of a document where the top-level captures the long range dependency at a coarser time scale and the bottom token level preserves the details. Critically, this hierarchical structure enables token representations to be updated in both a bottom-up and top-down manner. In the bottom-up pass, token representations are inferred with local self-attention to leverage its efficiency. Top-down correction is then applied to allow tokens to capture long-range dependency. We demonstrate the effectiveness of the proposed framework on a diverse set of summarization datasets, including narrative, conversational, scientific documents and news. Our model achieves (1) competitive or better performance on short documents with higher memory and compute efficiency, compared to full attention transformers, and (2) state-of-the-art performance on a wide range of long document summarization benchmarks, compared to recent efficient transformers. We also show that our model can summarize an entire book and achieve competitive performance using $0.27\%$ parameters (464M vs. 175B) and much less training data, compared to a recent GPT-3-based model. These results indicate the general applicability and benefits of the proposed framework.

研究の動機と目的

• 変換器で長文ドキュメントを処理する際の、完全な自己注意機構の2次関数的計算複雑度を軽減すること。
• ボトムアップおよびトップダウン推論パスを統合することで、抽象的要約における潜在的表現の忠実性を向上させること。
• 細かく粒度の細かいトークンレベルの詳細を保持しながら、効果的な長距離依存関係モデリングを可能にすること。
• 大規模な自己回帰モデルと比較して、顕著に少ないモデルサイズおよび学習データで競争力のある要約性能を達成すること。

提案手法

• フレームワークは、トークンレベルの表現をボトムアップパスで局所的自己注意機構により最初に推論する階層的潜在構造を採用する。
• トークンレベルの出力を、適応的または等重みプーリングを用いてプールすることで、セグメントレベルの表現を形成し、高レベルの抽象を生成する。
• セグメントレベルの表現にグローバル自己注意機構を適用し、ドキュメント全体にわたる長距離依存関係を捉える。
• セグメントレベルとトークンレベルの表現間のクロス注意機構を用いてトップダウン補正を実行し、グローバルな文脈でトークン表現を更新する。
• 最終的なトークン表現は、デコーダーによって抽象的要約を生成するために使用される。
• モデルは変換器ベースのアーキテクチャで実装され、BARTで事前学習され、要約データセットで微調整される。

実験結果

リサーチクエスチョン

• RQ1 純粋にボトムアップの変換器と比較して、ハイブリッドなトップダウンおよびボトムアップ推論メカニズムは、長文ドキュメント要約の質を向上させることができるか？
• RQ2 セグメントレベルの表現を通じてグローバルな文脈を統合することで、2次関数的複雑度を増大させることなく、長距離依存関係の捉えを向上させることができるか？
• RQ3 局所的自己注意機構のウィンドウサイズは、長文ドキュメントにおける性能にどのように影響するか？
• RQ4 提案されたフレームワークは、顕著に少ないモデルサイズおよびデータ要件で、競争力のある要約性能を達成できるか？
• RQ5 クロス注意機構によるトップダウン更新は、連結による更新などの代替手法よりも効果的であるか？

主な発見

• 本モデルは、PubMed、arXiv、CNN-DM、BookSumを含む、長文ドキュメント要約ベンチマークで最先端の性能を達成した。
• 局所的自己注意機構のウィンドウサイズを1024に設定した場合、PubMedではROUGE-1、ROUGE-2、ROUGE-Lスコアがそれぞれ48.34、21.40、44.22を達成した。
• 局所的注意のウィンドウサイズが大きくなるほど性能が向上し、512および1024のウィンドウサイズで上昇が確認されたことから、拡張された局所的文脈の利点が示された。
• アブレーションスタディの結果、クロス注意機構によるトップダウン更新が連結ベースの更新およびトップダウン更新なしのケースを上回り、その有効性が確認された。
• 本モデルは、GPT-3の175Bパラメータのわずか0.27%（464Mパラメータ）で本を要約可能であり、高いパラメータ効率性を示した。
• 最近のGPT-3ベースのモデルと比較して、顕著に少ない学習データで競争力のある性能を維持した。