[論文レビュー] Topic-Guided Abstractive Text Summarization: a Joint Learning Approach

Chujie Zheng, Kunpeng Zhang+3 more|arXiv (Cornell University)|Oct 20, 2020

Topic Modeling参考文献 42被引用数 6

ひとこと要約

本稿では、トピックレベルの特徴を用いてグローバルな意味理解をガイドするように設計された、ニューラルトピックモデリングとTransformerベースのシーケンス・トゥ・シーケンスモデルを統合した共同学習フレームワークを提案する。この手法は、長距離依存性のモデリングを強化することで要約の質を向上させ、CNN/DMおよびXSUMデータセットにおいて最先端のROUGEスコアと優れた人間評価結果を達成した。

ABSTRACT

We introduce a new approach for abstractive text summarization, Topic-Guided Abstractive Summarization, which calibrates long-range dependencies from topic-level features with globally salient content. The idea is to incorporate neural topic modeling with a Transformer-based sequence-to-sequence (seq2seq) model in a joint learning framework. This design can learn and preserve the global semantics of the document, which can provide additional contextual guidance for capturing important ideas of the document, thereby enhancing the generation of summary. We conduct extensive experiments on two datasets and the results show that our proposed model outperforms many extractive and abstractive systems in terms of both ROUGE measurements and human evaluation. Our code is available at: https://github.com/chz816/tas.

研究の動機と目的

• 長文ドキュメントにおけるトランスフォーマー基盤モデルがグローバルな意味構造を捉える能力に限界があることに対処すること。
• トピックレベルの特徴を文脈的ガイダンスとして統合することで、抽象的要約の品質を向上させること。
• トピックモデルとシーケンス・トゥ・シーケンスモデルを共同で学習させ、エンド・ツー・エンド最適化を実現すること。
• トピックに配慮した生成により、要約の流暢さと事実の整合性を向上させること。
• 自動評価および人間評価の両面で、抽出的および抽象的ベースラインを上回る優れた性能を示すこと。

提案手法

• ニューラルトピックモデル（prodLDA）とTransformerベースのseq2seqモデルを統合する共同学習フレームワークを採用する。
• ドキュメントから抽出したトピック特徴をデコーダーのアテンション機構に組み込み、要約生成をガイドする。
• トピックモデルからの再構成損失と要約タスクからの生成損失を組み合わせたマルチタスク損失を用いてエンド・ツー・エンドで学習する。
• ハイパーパrameter α はトピックモデリングと要約損失の寄与度を調整するが、最適な性能は α=0.1 のときを示す。
• 両タスクに共通するエンコーダーを採用することで、パラメータ共有と共同最適化を実現する。
• 潜在的なトピック分布を潜在変数として用いた変分推論アプローチでトピックモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 トピックレベルの特徴を統合することで、トランスフォーマー基盤の抽象的要約モデルのグローバルな意味理解が向上するか？
• RQ2 トピックモデリングと要約の共同学習は、別個の学習やファインチューニングよりも優れた性能をもたらすか？
• RQ3 強力なベースラインと比較して、長文または複雑なドキュメントにおけるモデルの性能はいかがなっているか？
• RQ4 共同学習設定において、トピックモデリングと生成目的の最適なバランスは何か？
• RQ5 トピックガイダンスによるアプローチは、事実の整合性とカバレッジの観点から要約の質を向上させるか？

主な発見

• CNN/DMデータセットでは、提案モデルがROUGE-1 44.63、ROUGE-2 21.62、ROUGE-L 36.77を達成し、同一設定下でdistil-BARTを上回った。
• XSUMデータセットでは、ROUGE-1 44.63、ROUGE-2 21.62、ROUGE-L 36.77を達成し、強力なベースラインに対して一貫した向上を示した。
• 人間評価では、提案モデルが生成した要約が、distil-BARTの要約と比較してより流暢で、事実的に正確であり、重要なアイデアをよりよく捉えていることが確認された。
• アブレーションスタディの結果、最適な損失重みパrameter α は 0.1 であり、α の値が低いほど性能が向上した。
• ロバストネスのチェックでは、長文ドキュメントおよび最新の位置サブパopulationにおいてモデルが優れた性能を示し、グローバルなドキュメント理解の向上が裏付けられた。
• ファインチューニング期間を延長してもモデルの性能が著しく低下せず、トピックモデリング部が改善の主因であることが示唆された。