[論文レビュー] Topic Augmented Generator for Abstractive Summarization

Melissa Ailem, Bowen Zhang+1 more|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 19被引用数 17

ひとこと要約

本稿では、入力文書とLDAを用いて推論された潜在的トピックに条件づけられたデコーダーを備えた要約生成モデルであるTopic Augmented Generator (TAG)を提案する。seq2seqモデルにトピックモデリングを統合することで、ROUGEスコアが向上し、元のドキュメントのトピック分布とより意味的に整合性のとれた要約が生成される。CNN/Daily MailおよびWikiHowのベンチマークにおいて、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Steady progress has been made in abstractive summarization with attention-based sequence-to-sequence learning models. In this paper, we propose a new decoder where the output summary is generated by conditioning on both the input text and the latent topics of the document. The latent topics, identified by a topic model such as LDA, reveals more global semantic information that can be used to bias the decoder to generate words. In particular, they enable the decoder to have access to additional word co-occurrence statistics captured at document corpus level. We empirically validate the advantage of the proposed approach on both the CNN/Daily Mail and the WikiHow datasets. Concretely, we attain strongly improved ROUGE scores when compared to state-of-the-art models.

研究の動機と目的

• 局所的なアテンション機構を超えるグローバルな意味的情報を統合することで、抽象的要約の品質を向上させること。
• 現在のモデルが、入力テキストに明示的に存在しないが、広範な概念的テーマを反映した意味的に整合性のとれた要約を生成する能力に制限を受ける問題に対処すること。
• 教師ありニューラル要約生成における誘導的バイアスとして、非教師付きトピックモデリングが有効であるかを検証すること。
• 特に要約が短いまたは疎である場合に、元のドキュメントの潜在的トピック構造と要約の整合性を高めること。
• トピックを補完するデコーディングが、より情報量が多く、文脈的に正確な要約を生成することを示すこと。

提案手法

• モデルは、入力テキストに注目すること、入力からコピーすること、LDAから得られる潜在的トピックに条件づけることの3つを切り替えられるポインタジェネレータデコーダーを用いる。
• 潜在的トピックは、入力ドキュメントからLatent Dirichlet Allocation (LDA)を用いて推論され、コーパスレベルの語の共起パターンを提供する。
• デコーダーの隠れ状態はトピック分布θ*に条件づけられ、広範な意味的テーマに整合する語の生成が可能になる。
• アテンション機構は、トピックベースのコンテキストを含めるように変更され、入力に存在しないが意味的に関連する語の生成が可能になる。
• 繰り返しを防ぎ、文の流れを改善するため、カバレッジ機構（Cov）が統合されている。
• seq2seq生成とトピック推論の両方を一括最適化するエンドツーエンドの学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 LDAから得られる潜在的トピックを統合することで、抽象的要約の品質が向上するか？
• RQ2 トピックを補完するデコーディングは、元のドキュメントの主要テーマとより意味的に整合性のとれた要約を生成するか？
• RQ3 標準ベンチマークにおいて、最先端の抽象的要約モデルと比較して、本モデルの性能はいかがなものか？
• RQ4 参照要約が短すぎて信頼性のあるトピック検出が困難な場合、トピックモデリングがより情報量の多い要約の生成に寄与するか？
• RQ5 トピック情報の統合により、正確性を維持したまま、入力語の正確なコピーに依存する度合いが低下するか？

主な発見

• TAGモデルは、CNN/Daily MailでROUGE-1スコア36.48を達成し、ベースラインのPGモデル（35.73）とPG+Cov（39.12）を上回った。
• WikiHowでは、TAGがROUGE-1で26.18を記録し、PG（26.02）とPG+Cov（27.08）を上回った。
• TAG+Covバージョンは最高の性能を示し、CNN/Daily MailでROUGE-1が40.06、WikiHowで28.36を記録。ROUGE-1およびROUGE-Lの両面でLead-3ベースラインを上回った。
• TAG+Covが生成した要約は、元のドキュメントのトピック分布とのKullback-Leibler発散が、正解要約よりも低く、より高いトピック整合性を示した。
• 定性的な分析では、TAG+CovはPG+Covよりもより簡潔でトピックに焦点を当てた要約を生成し、特に参照要約が短すぎる場合に主要なアイデアをより効果的に捉えていた。
• ある例では、TAG+Covが3つの文を生成したのに対し、PG+Covは2つの文しか生成しなかった。これは、構造的および主題的な完全性が向上していることを示している。