[論文レビュー] What comes next? Extractive summarization by next-sentence prediction

Jingyun Liu, Jackie Chi Kit Cheung+1 more|arXiv (Cornell University)|Jan 12, 2019

Topic Modeling参考文献 27被引用数 12

ひとこと要約

本稿では、抽出的要約のための新規モデルNextSumを提案する。NextSumは、元の記事と既に選択済みの要約文を用いて、次に要約に含めるべき文を予測する。要約固有の話法的遷移をモデル化することで、明示的な長さ制約や重複除去処理なしに最先端のROUGE-2 Fスコアを達成するとともに、人間が作成した要約と強く相関する要約長を予測する。

ABSTRACT

Existing approaches to automatic summarization assume that a length limit for the summary is given, and view content selection as an optimization problem to maximize informativeness and minimize redundancy within this budget. This framework ignores the fact that human-written summaries have rich internal structure which can be exploited to train a summarization system. We present NEXTSUM, a novel approach to summarization based on a model that predicts the next sentence to include in the summary using not only the source article, but also the summary produced so far. We show that such a model successfully captures summary-specific discourse moves, and leads to better content selection performance, in addition to automatically predicting how long the target summary should be. We perform experiments on the New York Times Annotated Corpus of summaries, where NEXTSUM outperforms lead and content-model summarization baselines by significant margins. We also show that the lengths of summaries produced by our system correlates with the lengths of the human-written gold standards.

研究の動機と目的

• 人間が作成した要約に内在する豊かな内部構造をモデル化することで、固定長要約の限界を克服すること。
• 要約におけるドメイン固有の話法的パターンを学習することで、コンテンツ選択と重複削減を改善すること。
• 要約の終了時を予測できるようにすることで、明示的な長さ制約や重複チェックの必要性を排除すること。
• コンテンツ選択、重複制御、長さ予測を統合的に実行する統一モデルの開発

提案手法

• NextSumは、元の記事からの特徴と現在の要約状態に基づいて、要約における次に来る文を予測するためのフィードフォワードニューラルネットワークを用いる。
• モデルは、元文書における文の重要性、トピックの頻度、現在の要約が元文書をどれだけカバーしているかといった特徴を組み込む。
• 次に来る文の予測を代理タスクとして用いることで、トピックの拡張や新規トピックの導入といった要約固有の話法的移行を学習する。
• モデルが終了を予測するまで、繰り返し次に来る文を予測することで、完全な要約を生成する。
• 本手法は、出来事中心のニューストピック（例：戦争犯罪、暗殺、爆破）を用いてニューヨーク・タイムズアノテートドコーパスで学習する。
• 一般ドメイン向けのバージョンも、複数の出来事タイプにわたって学習させ、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 次に来る文の予測モデルは、要約固有の話法的構造を効果的に捉え、コンテンツ選択を改善できるか？
• RQ2 明示的な長さ制約なしに、このようなモデルが要約長を自動的に予測できるか？
• RQ3 長さが与えられていない状況で、リードベースラインやコンテンツモデルベースラインと比較して性能はどうか？
• RQ4 モデルが予測する要約長は、人間が作成した要約長と相関するか？
• RQ5 微調整なしに、さまざまな種類のニュース出来事に対して一般化できるか？

主な発見

• NextSumは、全ドメインでリードベースラインおよびコンテンツモデルベースラインを上回り、犯罪分野では28.1のROUGE-2 Fスコア、暗殺分野では24.1を達成した。
• 混合ドメインでは、28.1のROUGE-2 Fスコアを達成し、ドメイン一般向けモデル（22.5）およびオラクルベースライン（36.3）と比較して相対性能が優れている。
• モデルが予測する要約長は、人間が作成した要約長と相関しており、犯罪分野では Kendall Tau が 0.46、爆破分野では 0.28 であった。
• 固定長制約なしのNextSum（NextSum）は、固定長制約ありのNextSum L（NextSum L）を上回る性能を示しており、自動長さ予測が性能向上に寄与していることが示された。
• モデルは、トピックの拡張や新規トピックの導入といった話法的移行を効果的に学習しており、定性的な例でもその有効性が示された。
• 要約長が短く、一貫性のあるドメインでは性能が高く、爆破分野のように長文のドメインでは相関が低かった。