[論文レビュー] A Cascade Approach to Neural Abstractive Summarization with Content Selection and Fusion

Logan Lebanoff, Franck Dernoncourt+3 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 31被引用数 7

ひとこと要約

本稿では、コンテンツ選択とテキスト生成を分離することで、二段階のプロセスを用いた神経的要約抽出のための段階的アーキテクチャを提案する。まず分類とシーケンスタグ付きによる重要な文のセグメントの選択と強調を行い、次にこれらの強調部分を条件として要約を生成する。この手法は、細分化された強調と統合を用いることでコンテンツ選択と一貫性の両面で制御性を向上させ、エンドツーエンドのモデルと同等またはそれ以上のROUGEスコアを達成した。

ABSTRACT

We present an empirical study in favor of a cascade architecture to neural text summarization. Summarization practices vary widely but few other than news summarization can provide a sufficient amount of training data enough to meet the requirement of end-to-end neural abstractive systems which perform content selection and surface realization jointly to generate abstracts. Such systems also pose a challenge to summarization evaluation, as they force content selection to be evaluated along with text generation, yet evaluation of the latter remains an unsolved problem. In this paper, we present empirical results showing that the performance of a cascaded pipeline that separately identifies important content pieces and stitches them together into a coherent text is comparable to or outranks that of end-to-end systems, whereas a pipeline architecture allows for flexible content selection. We finally discuss how we can take advantage of a cascaded pipeline in neural text summarization and shed light on important directions for future research.

研究の動機と目的

• エンドツーエンドのニューラル要約抽出モデルと比較して、段階的パイプラインが競争力ある、あるいは優れた要約性能を達成できるかどうかを調査すること。
• 要約における表面的実現とは分離された柔軟でドメイン特化型のコンテンツ選択を可能にすること。
• 細分化されたコンテンツ強調と統合が要約の質と一貫性に与える影響を評価すること。
• ニューラルジェネレータを誘導するための最適な強調戦略（しきい値、割合）を探索すること。
• コンテンツ選択と生成を分離することで、要約抽出のためのより解釈可能で評価可能なフレームワークを提供すること。

提案手法

• モデルは粗いから細かいコンテンツ選択戦略を用い、まず分類ヘッドを介して入力文書から1〜2つの重要な文を特定する。
• シーケンスタグ付きモデルが選択された文内の重要なセグメントを強調し、語彙化されたユニグラムと滑らかさを用いて一貫性を確保する。
• 強調部分をニューラルテキストジェネレータの入力として用い、要約文を生成する。2つの文が選択された場合には統合を適用して一貫性を保つ。
• 動的に入力単語のモデルの信頼度に基づいて選択するしきい値ベースの強調法（0.15–0.20）を採用し、固定割合法よりも優れた性能を示した。
• 統合モジュールは、強調されたセグメントを再配置・統合し、文法的に正しいかつ意味のある要約文を生成する。
• ハイパーパrameterとして、損失重み（λ = 0.2）と強調しきい値をバリデーションスプリット上で最適化した。

実験結果

リサーチクエスチョン

• RQ1 段階的パイプラインアーキテクチャは、エンドツーエンドのニューラル要約抽出モデルと同等またはそれ以上の要約性能を達成できるか？
• RQ2 明示的で細分化されたコンテンツ強調は、生成された要約の質と一貫性にどのような影響を与えるか？
• RQ3 コンテンツ選択段階で強調するテキスト量を決定する最適な戦略は何か？
• RQ4 コンテンツ選択と表面的実現を分離することで、要約抽出における解釈可能性と柔軟性が向上するか？
• RQ5 正解の文の選択と強調が、モデルの性能にどの程度向上効果をもたらすか？

主な発見

• 特にCascade-Tag（統合なし）の段階的モデルは、エンドツーエンドの要約ベースライン（BERT-Absを含む）と同等またはそれ以上のROUGEスコアを達成した。
• 正解の文の選択が与えられた場合、段階的モデルはすべての指標でROUGEスコアが約10ポイント向上した。
• さらに正解の強調が使用された場合、ROUGEスコアはさらに20ポイント向上し、コンテンツ選択の正確性に大きなポ텐シャルがあることが示された。
• 強調のための確率しきい値法（しきい値 0.15–0.20）は、固定割合法を上回り、1文あたり平均で58–78%の語を強調した。
• 訓練データの中央値（31%）を上回る強調率がより良い性能をもたらし、過剰な強調がモデルの一般化に有益である可能性を示唆した。
• 統合モジュールは、ROUGEスコアへの影響がやや小さいものの、文法的整合性と一貫性を向上させ、文レベルの一貫性を確保する役割を果たしていることが示された。