[論文レビュー] Topic-Aware Abstractive Text Summarization.

Chujie Zheng, Kunpeng Zhang+2 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling被引用数 11

ひとこと要約

本論文では、トランスフォーマーに基づくエンコーダーデコーダー構造にアテンションを介してニューラルトピックモデリングを統合することで、文書全体の意味的構造を捉えるTopic-Aware Abstractive Summarization (TAAS)というフレームワークを提案する。TAASは、要約生成性能を向上させ、ROUGE-1、ROUGE-2、ROUGE-Lの各指標でBARTをそれぞれ2%、8%、12%上回り、計算コストを著しく低く抑えながらPEGASUSやProphetNetと同等の性能を達成する。

ABSTRACT

Automatic text summarization aims at condensing a document to a shorter version while preserving the key information. Different from extractive summarization which simply selects text fragments from the document, abstractive summarization generates the summary in a word-by-word manner. Most current state-of-the-art (SOTA) abstractive summarization methods are based on the Transformer-based encoder-decoder architecture and focus on novel self-supervised objectives in pre-training. While these models well capture the contextual information among words in documents, little attention has been paid to incorporating global semantics to better fine-tune for the downstream abstractive summarization task. In this study, we propose a topic-aware abstractive summarization (TAAS) framework by leveraging the underlying semantic structure of documents represented by their latent topics. Specifically, TAAS seamlessly incorporates a neural topic modeling into an encoder-decoder based sequence generation procedure via attention for summarization. This design is able to learn and preserve global semantics of documents and thus makes summarization effective, which has been proved by our experiments on real-world datasets. As compared to several cutting-edge baseline methods, we show that TAAS outperforms BART, a well-recognized SOTA model, by 2%, 8%, and 12% regarding the F measure of ROUGE-1, ROUGE-2, and ROUGE-L, respectively. TAAS also achieves comparable performance to PEGASUS and ProphetNet, which is difficult to accomplish given that training PEGASUS and ProphetNet requires enormous computing capacity beyond what we used in this study.

研究の動機と目的

• 現在の抽象的要約生成モデルが文書の全体的な意味的構造を捉えることの制限を解決すること。
• 潜在的なトピック表現をグローバルなコンテキストとして組み込むことで、抽象的要約生成のファインチューニングを改善すること。
• 膨大な計算リソースを要しない方法で要約生成の効果を高めること。
• PEGASUS や ProphetNet と同等の性能を、より少ないトレーニングリソースで達成すること。
• トピックに配慮したモデリングが、抽象的要約タスクにおけるROUGEスコアの向上に寄与することを示すこと。

提案手法

• エンコーダーデコーダーのアテンション機構にニューラルトピックモデリングを統合し、要約生成プロセスにグローバルなトピックレベルの意味情報を注入すること。
• デコード中に文書のコンテンツと潜在的なトピック表現の両方に注目するトピックに配慮したアテンション機構を採用すること。
• アテンション機構を活用して、生成された要約トークンを文書内の関連するトピックに動的に一致させること。
• トピックの整合性を同時に最適化しつつ、標準的な抽象的要約生成の目的関数に従ってモデルをエンドツーエンドで訓練すること。
• 入力文書から潜在的なトピックを推定するために、変分オートエンコーダーに基づくニューラルトピックモデルを採用すること。
• エンコーダー出力に条件付けられたトピック表現を有し、デコード時にそれらが注目される統合アーキテクチャを設計すること。

実験結果

リサーチクエスチョン

• RQ1 潜在的なトピック表現を組み込むことで、抽象的要約生成モデルのグローバルな意味的理解が向上するか？
• RQ2 トピックに配慮したアテンション機構は、標準的なトランスフォーマーに基づくモデルと比較して、より良いROUGEスコアを達成するか？
• RQ3 TAASは、膨大な計算リソースを要せず、PEGASUS や ProphetNet と同等の性能を達成できるか？
• RQ4 トピックモデリングの統合は、生成された要約の整合性と情報量にどのような影響を与えるか？
• RQ5 局所的な語レベルのコンテキストを超えたグローバルな意味的信号は、モデルにどの程度の利益をもたらすか？

主な発見

• TAASは、ROUGE-1でBARTを2%、ROUGE-2で8%、ROUGE-Lで12%上回り、要約品質の顕著な向上を示している。
• 計算容量を著しく低く抑えながらも、PEGASUS や ProphetNet と同等の性能を達成している。
• トピックモデリングの統合により、モデルのグローバルな意味の保持能力が向上し、より整合性があり情報量豊かな要約が生成されるようになった。
• トピックに配慮したアテンション機構は、デコーダーが文書内の重要なトピックと整合する要約トークンを効果的に生成するのを支援している。
• 本フレームワークは、多様な実世界のデータセットにおいても強固で汎用性の高い性能を維持しており、その妥当性と一般化能力を裏付けている。
• 本手法は、大規模な事前学習を要せず、トピックモデリングからのグローバルな意味的信号が、抽象的要約生成を顕著に改善できることを示している。