[論文レビュー] Cooperative Generator-Discriminator Networks for Abstractive Summarization with Narrative Flow

Saadia Gabriel, Antoine Bosselut+4 more|arXiv (Cornell University)|Jul 2, 2019

Topic Modeling参考文献 47被引用数 12

ひとこと要約

Co-opNet は、生成モデルとディスカッションレベルの識別器を結合することで物語の流れを明示的にモデル化するトランスフォーマー基盤のフレームワークであり、科学的論文の要約を代理ゴール要約として用いた SASS データセットを導入し、長文の要約における一貫性を高めるために学習することで、ベースラインと比較して顕著に向上したグローバルな一貫性を達成している。

ABSTRACT

We introduce Cooperative Generator-Discriminator Networks (Co-opNet), a general framework for abstractive summarization with distinct modeling of the narrative flow in the output summary. Most current approaches to abstractive summarization, in contrast, are based on datasets whose target summaries are either a single sentence, or a bag of standalone sentences (e.g., extracted highlights of a story), neither of which allows for learning coherent narrative flow in the output summaries. To promote research toward abstractive summarization with narrative flow, we first introduce a new dataset, Scientific Abstract SummarieS (SASS), where the abstracts are used as proxy gold summaries for scientific articles. We then propose Co-opNet, a novel transformer-based framework where the generator works with the discourse discriminator to compose a long-form summary. Empirical results demonstrate that Co-opNet learns to summarize with considerably improved global coherence compared to competitive baselines.

研究の動機と目的

• 抽象的要約における一貫性ある物語の流れを学習するためのトレーニングデータの不足に対処すること。
• 個々の文やハイライトにとどまらず、長文のディスコース的一貫性を持つ要約をモデル化するフレームワークを開発すること。
• 科学的論文の要約が代理ゴール要約として機能する新しいデータセット SASS を導入すること。
• 生成モデルとディスコース識別器の協調的トレーニングを通じて、抽象的要約のグローバルな一貫性を向上させること。
• 単一文または抽出型要約を超えた、構造的な物語進行を伴う抽象的要約の研究を可能にすること。

提案手法

• 生成モデルとディスコース識別器を統合したトランスフォーマー基盤のアーキテクチャ Co-opNet を提案する。
• ディスコース識別器を用いて、生成された要約のディスコースレベルでの一貫性と論理的流れを評価する。
• 生成モデルと識別器を協調的にトレーニングすることで、出力の物語的構造を向上させる。
• SASS データセットを活用し、完全な科学的論文の要約をゴール要約として、物語の一貫性を学習するためのトレーニングに使用する。
• 文の流れやディスコースレベルの一貫性を最適化するトレーニング目的関数を設計し、抽出型や文レベルの正確性のみを目的としない。
• 生成モデルが要約を生成し、識別器がその物語的流れを評価する二重ストリームトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 協調的生成モデルと識別器フレームワークは、一貫性のある物語的流れを持つ長文要約を効果的に学習できるか？
• RQ2 論文の要約を代理ゴール要約として用いることで、抽象的要約における物語的一貫性の質にどのような影響を与えるか？
• RQ3 標準的なシーケンスレベルまたは抽出型ベースラインと比較して、ディスコースレベルの識別器はグローバルな一貫性をどの程度向上させるか？
• RQ4 提案されたフレームワークは、科学的論文を超えた長文要約タスクにも一般化可能か？
• RQ5 物語的構造のモデル化は、抽象的要約全体の品質にどの程度寄与するか？

主な発見

• Co-opNet は、競合するベースラインと比較して、生成された要約のグローバルな一貫性が顕著に向上している。
• 要約が代理ゴール要約として機能する SASS の使用により、物語的流れのトレーニングが効果的に行えるようになった。
• ディスコース識別器は、生成モデルがより一貫性があり論理的な構造を持つ長文要約を生成するのを的確に導くことができた。
• 実験的結果から、Co-opNet は物語的進行と論理的流れを捉える点で、既存の手法を上回っていることが示された。
• 生成モデルと識別器の協調的トレーニングにより、よりなめらかで文脈的に一貫性のある要約が得られた。
• フレームワークは、文レベルの自然さを超えて、物語的流れを明示的にモデル化することで、より高品質な抽象的要約が得られることを示している。