[論文レビュー] Multi-Document Summarization via Discriminative Summary Reranking

Xiaojun Wan, Ziqiang Cao+3 more|arXiv (Cornell University)|Jul 8, 2015

Topic Modeling参考文献 30被引用数 18

ひとこと要約

本稿では、多文書要約のための判別的再順序付け手法を提案する。この手法は、ILPフレームワークを用いて候補要約を生成し、Ranking SVMを用いてそれらを再順序付けすることで品質を向上させる。語、文、要約の各レベルにおける多様な特徴を活用することで、さまざまなドキュメントセットに対して強固で高品質な要約を生成でき、DUCベンチマークにおいて個々のモデルを上回る性能を発揮する。

ABSTRACT

Existing multi-document summarization systems usually rely on a specific summarization model (i.e., a summarization method with a specific parameter setting) to extract summaries for different document sets with different topics. However, according to our quantitative analysis, none of the existing summarization models can always produce high-quality summaries for different document sets, and even a summarization model with good overall performance may produce low-quality summaries for some document sets. On the contrary, a baseline summarization model may produce high-quality summaries for some document sets. Based on the above observations, we treat the summaries produced by different summarization models as candidate summaries, and then explore discriminative reranking techniques to identify high-quality summaries from the candidates for difference document sets. We propose to extract a set of candidate summaries for each document set based on an ILP framework, and then leverage Ranking SVM for summary reranking. Various useful features have been developed for the reranking process, including word-level features, sentence-level features and summary-level features. Evaluation results on the benchmark DUC datasets validate the efficacy and robustness of our proposed approach.

研究の動機と目的

• 既存の要約モデルが異なるドキュメントセットにおいて一貫性のない性能を示すという限界に対処すること。
• 複数の要約モデルの出力を組み合わせて候補要約とすることで、要約品質を向上させること。
• 各ドキュメントセットに対して最高品質の要約を選択する強固な再順序付けフレームワークを開発すること。
• 語レベル、文レベル、要約レベルの特徴を含む、判別的再順序付けのための特徴工学を検討すること。

提案手法

• 要約品質を最適化するため、整数線形計画法（ILP）フレームワークを用いて各ドキュメントセットの候補要約を生成する。
• 学習された関連性スコアに基づいて、Ranking SVMを適用して候補要約を再順序付けする。
• 語レベル（例：語の頻度、顕著性）、文レベル（例：位置、長さ）、要約レベル（例：カバレッジ、多様性）の包括的な特徴セットを設計する。
• アノテーション付きデータ上でRanking SVMモデルを学習させ、高品質と低品質の要約を区別する順序付け関数を学習する。
• 再順序付け済みの要約を最終出力として使用し、トピックカバレッジと一貫性を保証する。
• 標準的なDUCベンチマークデータセット上でフレームワークを評価し、性能と強度を検証する。

実験結果

リサーチクエスチョン

• RQ1 単一のモデルに依存するのではなく、複数の要約モデルの出力を組み合わせることで、要約品質が向上するか？
• RQ2 判別的再順序付けは、複数の候補出力の中から最良の要約を効果的に選択できるか？
• RQ3 語レベル、文レベル、要約レベルの特徴のうち、どの特徴が要約品質の予測に最も寄与するか？
• RQ4 本手法は、トピックが異なる多様なドキュメントセットに対しても高い性能を維持できるか？
• RQ5 再順序付けフレームワークは、未観測のドキュメントセットに対しても十分に一般化できるか？

主な発見

• 提案手法は、DUCベンチマークデータセットにおいて、個々の要約モデルと比較して顕著に要約品質を向上させた。
• Ranking SVMを用いた判別的再順序付けは、多様なドキュメントセットにおいて強固な性能を発揮し、出力品質のばらつきを低減した。
• カバレッジや多様性といった要約レベルの特徴の導入により、包括的で重複のない要約の選択能力が向上した。
• 語の頻度や顕著性といった語レベルの特徴は、重要なコンテンツを特定する上で有意義に寄与した。
• ROUGEスコアの向上により、ベースラインモデルと比較して再現率とF1スコアの両方が一貫して向上した。
• 個々のモデルが特定のドキュメントセットに対して低品質の要約を出力する場合でも、本手法は効果を発揮し、その強度を示した。