[論文レビュー] Long-Span Dependencies in Transformer-based Summarization Systems.

Potsawee Manakul, Mark Gales|arXiv (Cornell University)|May 8, 2021

Topic Modeling被引用数 2

ひとこと要約

この論文は、トランスフォーマーに基づく要約生成システムにおける長距離依存関係のモデリングを改善するために、局所的自己注意機構と明示的なコンテンツ選択を組み合わせたハイブリッド手法を提案する。これらの技術を統合することで、大規模なGPUリソースを必要とせずに、Spotify Podcast、arXiv、PubMedの各データセットで最先端のROUGEスコアを達成した。

ABSTRACT

Transformer-based models have achieved state-of-the-art results in a wide range of natural language processing (NLP) tasks including document summarization. Typically these systems are trained by fine-tuning a large pre-trained model to the target task. One issue with these transformer-based models is that they do not scale well in terms of memory and compute requirements as the input length grows. Thus, for long document summarization, it can be challenging to train or fine-tune these models. In this work, we exploit large pre-trained transformer-based models and address long-span dependencies in abstractive summarization using two methods: local self-attention; and explicit content selection. These approaches are compared on a range of network configurations. Experiments are carried out on standard long-span summarization tasks, including Spotify Podcast, arXiv, and PubMed datasets. We demonstrate that by combining these methods, we can achieve state-of-the-art results on all three tasks in the ROUGE scores. Moreover, without a large-scale GPU card, our approach can achieve comparable or better results than existing approaches.

研究の動機と目的

• トランスフォーマーに基づく要約生成システムにおける長距離依存関係の課題に対処すること。
• 入力長が延びるにつれてメモリと計算量のスケーラビリティに制限が生じる標準トランスフォーマーの課題を克服すること。
• 大規模なGPUハードウェアに依存せずに、長文ドキュメント上で大規模な事前学習モデルを効果的に微調整可能にする。
• Spotify Podcast、arXiv、PubMedのような長距離依存関係を有するデータセットにおける要約性能を向上させること。
• 局所的注意とコンテンツ選択の組み合わせが、既存の手法と比較して優れた結果をもたらすことを示すこと。

提案手法

• 入力長に応じた計算複雑度を低減するため、自己注意を全系列長ではなく局所的なコンテキスト窓に制限する局所的自己注意機構を適用する。
• 注意計算の前段階で、長文ドキュメントから顕著な文やフレーズを特定・優先順位付けする明示的なコンテンツ選択を実装する。
• 長文要約タスクにおける大規模事前学習トランスフォーマーモデルの微調整に、局所的注意とコンテンツ選択を統合した戦略を用いる。
• 標準的なトランスフォーマー構造をバックボーンとし、長期間のコンテキストを効率的に処理できるよう、注意計算と入力処理を変更する。
• Spotify Podcast、arXiv、PubMedを含む標準的な長距離要約ベンチマークでモデルを訓練および評価する。
• ROUGEスコアの性能を維持しつつ、推論効率とメモリ使用量を最適化する。

実験結果

リサーチクエスチョン

• RQ1 局所的自己注意は、性能を維持しつつ、長文要約における計算コストを効果的に低減できるか？
• RQ2 明示的なコンテンツ選択は、要約生成における長距離依存関係のモデリングをどの程度向上させるか？
• RQ3 局所的注意とコンテンツ選択の組み合わせは、長距離依存関係要約タスクにおいて標準的なトランスフォーマー微調整と比較して、どのように異なるか？
• RQ4 提案手法は、大規模なGPUインfraを必要とせずに最先端の結果を達成できるか？
• RQ5 arXiv、PubMed、Spotify Podcastのような多様な長文ドキュメントデータセットにおいて、提案手法がROUGEスコアに与える影響は何か？

主な発見

• 提案手法は、Spotify Podcast、arXiv、PubMedの3つのベンチマークデータセットすべてで最先端のROUGEスコアを達成した。
• 局所的自己注意と明示的コンテンツ選択を組み合わせることで、単独で用いる場合よりも優れた性能が得られた。
• 大規模なGPUリソースに依存せずとも、既存のアプローチと比較して競争力ある、あるいは優れた結果が得られた。
• 標準的なトランスフォーマーが長文入力に対して直面するメモリおよび計算量のスケーリング問題を、効果的に緩和した。
• アブレーションスタディにより、局所的注意とコンテンツ選択の両方が最終的な性能向上に顕著な寄与をしていることが確認された。
• 計算要求を低減しつつ、要約品質を高い水準で維持したため、実世界の展開に実用的である。