[論文レビュー] Efficient Attentions for Long Document Summarization

Luyang Huang, Shuyang Cao+3 more|arXiv (Cornell University)|Apr 5, 2021

Topic Modeling参考文献 48被引用数 11

ひとこと要約

本稿では、長文要約における計算コストとメモリコストを削減するために、ヘッド単位の位置ストライドを用いた、新しい効率的なエンコーダデコーダアテンション機構Heposを提案する。Heposにより、従来のモデルの2倍以上である10,000トークンを超える処理が可能となり、GovReportおよびPubMedのデータセットにおいて最先端のROUGEスコアと改善された忠実性を達成した。人的評価でも、より情報量が多く正確な要約であることが確認された。

ABSTRACT

The quadratic computational and memory complexities of large Transformers have limited their scalability for long document summarization. In this paper, we propose Hepos, a novel efficient encoder-decoder attention with head-wise positional strides to effectively pinpoint salient information from the source. We further conduct a systematic study of existing efficient self-attentions. Combined with Hepos, we are able to process ten times more tokens than existing models that use full attentions. For evaluation, we present a new dataset, GovReport, with significantly longer documents and summaries. Results show that our models produce significantly higher ROUGE scores than competitive comparisons, including new state-of-the-art results on PubMed. Human evaluation also shows that our models generate more informative summaries with fewer unfaithful errors.

研究の動機と目的

• 長文要約におけるTransformerの2次関数的計算量とメモリ消費量の問題に対処する。
• 従来の効率的自己アテンション手法が、抽象的要約におけるエンコーダデコーダアテンションに拡張できないという制限を克服する。
• 要約のためのエンドツーエンド学習を、切り捨てを伴わずに10Kトークン以上の長文で行えるようにする。
• 長文（9,400語）と要約（553語）を備えた、長文抽象的要約をよりよく評価できる新しいベンチマークデータセット、GovReportを構築する。
• 従来の手法よりも人間の判断と相関性の高い新しい忠実性評価指標、APES srcを提案する。

提案手法

• 各アテンションヘッドが入力系列全体で固定でずらされた位置（位置ストライド）のトークンにのみ注目する、マルチヘッドアテンション機構Heposを導入する。
• 各ヘッドがスパースでストライドパターンのキーベースアテンションに制限されることで、計算量をO(nw)に削減しながらも、各ヘッドがグローバルな文脈を維持する。
• LSHやSinkhornなどの既存のスパースエンコーダ自己アテンション機構と組み合わせることで、入力長を拡張しつつも、実用的な限界を超えてメモリを増加させない。
• 参照ベースの質問を用いて、元文と要約からの回答を比較するクローズ形式のQA指標である、新しいAPES srcを設計する。これにより、厳密な一致よりも語彙的柔軟性が向上する。
• BARTベースアーキテクチャを用いて、Heposをエンコーダおよびデコーダに組み込み、新しいGovReportデータセット上でモデルを学習・微調整する。
• 要約の質と忠実性を評価するために、自動指標（ROUGE、FactCC、APES、APES src）と人的評価の組み合わせを用いる。

実験結果

リサーチクエスチョン

• RQ1 効率的なエンコーダデコーダアテンション機構は、切り捨てを伴わずに長文（例：10Kトークン以上）の学習を可能にするか。
• RQ2 ROUGEスコアと計算効率の観点から、Heposは低ランク射影や他の効率的アテンション機構と比べてどのように差をつけるか。
• RQ3 より長い入力シーケンスを処理することで、自動評価および人的評価の両方で、より情報量が多く忠実な要約が得られるか。
• RQ4 APES や前提関係ベースのスコアラーと比較して、APES src といった新しい忠実性指標は、人間の判断とより高い相関性を示すか。
• RQ5 PubMedおよびGovReportにおいて、Heposは完全アテンションベースラインと比較して、長文ドキュメントの要約品質をどの程度向上させるか。

主な発見

• Heposにより、同じGPU上で5,000トークンの制限を超える10,000トークン以上の入力トークンを処理できる。
• GovReportデータセットにおいて、HeposベースのモデルはROUGE-Lスコア59.6を達成し、低ランク射影ベースライン（59.0）および完全アテンションモデルを大きく上回った。
• PubMedにおいて、Heposモデルは73.3という新しい最先端のROUGE-Lスコアを達成し、以前の最先端モデルを上回った。
• 人的評価では、Heposが生成する要約は、競合モデルと比較して21%情報量が多く、23%忠実性に欠ける割合が少なかった。APES src指標は、人間の判断との相関係数が最大（PubMedではr = 0.32）を示した。
• APES src指標は、APESや前提関係ベースのスコアラーと比較して、人間の評価との相関性が高く、特に「死亡率」と「死亡率」のような言い換えやアコーディング表現（例："mortality" vs. "death rate"）を捉える能力に優れていた。