[論文レビュー] Diverse Beam Search for Increased Novelty in Abstractive Summarization

André Cibils, Claudiu Musat+2 more|arXiv (Cornell University)|Feb 5, 2018

Topic Modeling参考文献 17被引用数 8

ひとこと要約

本稿では、抽出的要約の問題を軽減するとともにROUGEスコアを向上させるために、多様性を考慮したビームサーチ（DBS）手法を提案する。ビームサーチの損失関数に多様性要因を組み込み、文の埋め込みを用いて複数の多様な要約を統合することで、コピーされたテキストへの依存を軽減し、ROUGE-1、ROUGE-2、ROUGE-Lの各スコアを2点以上向上させ、新規性も向上させる。

ABSTRACT

Text summarization condenses a text to a shorter version while retaining the important informations. Abstractive summarization is a recent development that generates new phrases, rather than simply copying or rephrasing sentences within the original text. Recently neural sequence-to-sequence models have achieved good results in the field of abstractive summarization, which opens new possibilities and applications for industrial purposes. However, most practitioners observe that these models still use large parts of the original text in the output summaries, making them often similar to extractive frameworks. To address this drawback, we first introduce a new metric to measure how much of a summary is extracted from the input text. Secondly, we present a novel method, that relies on a diversity factor in computing the neural network loss, to improve the diversity of the summaries generated by any neural abstractive model implementing beam search. Finally, we show that this method not only makes the system less extractive, but also improves the overall rouge score of state-of-the-art methods by at least 2 points.

研究の動機と目的

• 最先端の抽象的要約モデル、特にポインタジェネレータネットワークを用いたものにおける、入力テキストへの過剰な依存を是正すること。
• 従来のパラフレーズ検出手法に限界があるのを補う、要約の抽出的性質を定量的に測定する新しい指標を開発すること。
• ビームサーチデコードを変更し、多様で重複のない出力を優先させることで、要約の新規性を向上させること。
• 高いROUGEスコアを達成するためにはコピーが必要であるという仮定に反し、抽出的傾向の低減とROUGEスコアの向上が同時に達成可能であることを示すこと。
• アーキテクチャの変更なしに、任意のビームサーチベースの抽象的要約モデルに即座に統合可能なプラグアンドプレイ手法を提供すること。

提案手法

• 要約の内容のうち入力テキストからコピーされた割合を定量化する新しい抽出的指標、plagiarism_scoreを導入する。
• 候補シーケンス間の類似性をペナルティとして課す多様性に配慮したビームサーチを提案し、言語的多様性を促進する。
• 文の埋め込みを用いて候補要約間の類似度を計算し、最大マージナルレレバンス（MMR）戦略を適用して、ビームサーチ出力から多様で高品質な要約を選択する。
• MMRに基づく選択メカニズムを用いて複数の多様なビームサーチ出力を統合し、新規性とカバレッジの両面で向上した最終要約を生成する。
• アーキテクチャの変更なしに、ポインタジェネレータネットワークなどの既存の抽象的モデルに適用可能であり、即時統合が可能である。
• MMRアルゴリズムにおける文数Nと多様性トレードオフ係数βの調整により、要約長と多様性のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 複数のコピーされたスパンから構成される要約に対しても、抽出的性質を正確に測定できる新しい指標は可能か？
• RQ2 多様性ビームサーチを抽象的要約に適用することで、入力テキストへのコピー依存を軽減しつつ、ROUGEスコアを維持または向上させられるか？
• RQ3 ビームサーチ出力の多様性を効果的に統合することで、新規性と自動評価スコアの両方が向上した要約を生成できるか？
• RQ4 提案された抽出的指標は、人間の要約品質および新規性に関する判断と相関しているか？
• RQ5 本手法は、ビームサーチを用いるさまざまな抽象的要約モデルに一般化可能か？

主な発見

• plagiarism_scoreとextraction_scoreを含む提案された抽出的指標は、人間の判断と良好に相関しており、従来のパラフレーズ検出ツールが見逃す高抽出的行動を特定できる。
• N=3、β=0.35で多様性ビームサーチを適用した結果、ベースラインのPGNetと比較してplagiarism_scoreが0.401から0.368に低下し、extraction_scoreが0.401から0.282に低下した。これは、著しく少ないコピー量を示している。
• N=4、β=0.20でさらにplagiarism_scoreが0.211に低下した。これは、より長い要約では関連コンテンツを過剰にコピーすることなく、より良い分布が可能であることを示している。
• ベースラインのPGNetと比較して、ROUGE-1、ROUGE-2、ROUGE-LのF1スコアが2点以上向上した。抽出的傾向の低減と要約品質の向上が同時に達成された、いわゆる「ウィンウィン」の結果である。
• MMRと文の埋め込みを用いた多様な要約の統合メカニズムにより、モデルの再訓練なしに新規性とROUGEスコアの両方を向上させることができた。
• 本手法は、任意のビームサーチベースの抽象的要約モデルに普遍的に適用可能であり、産業的・研究的応用において実用的かつ効果的な改善手段である。