[論文レビュー] A Reinforced Topic-Aware Convolutional Sequence-to-Sequence Model for Abstractive Text Summarization

Li Wang, Junlin Yao+4 more|arXiv (Cornell University)|May 9, 2018

Topic Modeling参考文献 24被引用数 26

ひとこと要約

本稿では、共同注意機構とバイアス付き確率生成メカニズムを用いてトピック情報を統合することで、要約の整合性、多様性、情報性を向上させる、強化付きでトピックに配慮した畳み込み型シーケンス・トゥ・シーケンスモデルを提案する。self-critical sequence training (SCST) を ConvS2S と組み合わせることで、ROUGE スコアを直接最適化し、露出バイアスを軽減し、Gigaword、DUC-2004、LCSTS データセットで最先端の性能を達成する。

ABSTRACT

In this paper, we propose a deep learning approach to tackle the automatic summarization tasks by incorporating topic information into the convolutional sequence-to-sequence (ConvS2S) model and using self-critical sequence training (SCST) for optimization. Through jointly attending to topics and word-level alignment, our approach can improve coherence, diversity, and informativeness of generated summaries via a biased probability generation mechanism. On the other hand, reinforcement training, like SCST, directly optimizes the proposed model with respect to the non-differentiable metric ROUGE, which also avoids the exposure bias during inference. We carry out the experimental evaluation with state-of-the-art methods over the Gigaword, DUC-2004, and LCSTS datasets. The empirical results demonstrate the superiority of our proposed method in the abstractive summarization.

研究の動機と目的

• 既存の抽象的要約生成モデルが、整合性、多様性、情報性に欠ける要約を生成するという限界を是正すること。
• sequence generation における露出バイアスとトレーニング・インフェンス分布の不一致を解消するために、self-critical sequence training (SCST) を採用すること。
• 畳み込み型シーケンス・トゥ・シーケンスフレームワークに、トピックに配慮した文脈的アライメントを統合することで、モデル性能を向上させること。
• ROUGE などの自動評価指標とトレーニング目的の間のギャップを埋めるために、微分不可能な ROUGE スコアを直接最適化すること。

提案手法

• エンコーディングおよびデコーディング中に、トピックレベルとワードレベルの表現を同時にアライメントする、共同トピックに配慮したアテンション機構を導入する。
• トピック埋め込みを組み込むことで、より整合的で多様な出力を指向する、バイアス付き確率生成メカニズムを採用する。
• ROUGE 評価指標に基づいて直接最適化できるようにするため、self-critical sequence training (SCST) フレームワークを採用し、微分可能な損失関数の必要性を回避する。
• RNNベースのモデルと比較して、より高速で並列処理可能なトレーニングが可能な畳み込み型シーケンス・トゥ・シーケンス (ConvS2S) アーキテクチャを採用する。
• 勾配消失を軽減し、長距離依存性のモデリングを改善するために、ゲート付き畳み込みを活用する。
• 最大尤度事前学習と SCST による強化微調整を組み合わせたエンド・トゥ・エンドのトレーニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 ConvS2S モデルにトピック情報を統合することで、抽象的要約の整合性と情報性が向上するか？
• RQ2 self-critical sequence training (SCST) は、抽象的要約生成モデルにおける露出バイアスをどのように軽減するか？
• RQ3 トピックとワードレベルの両方のアテンションを組み合わせることで、単一のワードレベルアテンションに比べ、より多様で文脈的に整合した要約が得られるか？
• RQ4 提案手法は、標準的な抽象的要約ベンチマークで、既存の最先端手法をどの程度上回るか？

主な発見

• 提案手法は、Gigaword、DUC-2004、LCSTS データセットで最先端の性能を達成し、ROUGE スコアにおいて既存手法を上回った。
• トピックに配慮したアテンションの統合により、人的評価および自動指標の両面から、要約の整合性と情報性が顕著に向上した。
• self-critical sequence training (SCST) は露出バイアスを効果的に低減し、トレーニング目的を評価指標（ROUGE）と一致させることで、より良い一般化性能を実現した。
• 生成出力の分析から、語彙の多様性が高く、キーワードのカバー率も優れており、LCSTS における要約生成に寄与した。
• LCSTS データセットでは、参照要約に存在しないトピック関連語を含む要約を生成したため、主題のカバレッジが向上したことが示された。
• アブレーションスタディの結果、トピックモデリングと SCST の両方が性能向上に顕著な貢献を示し、併用したモデルが最高の ROUGE スコアを記録した。