[論文レビュー] Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization

David Adams, Gandharv Suri+1 more|arXiv (Cornell University)|Nov 19, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、最先端の事前学習モデルの出力を統合することで、少サンプルおよびゼロショット多ドキュメント要約（MDS）を向上させる、新しいMMRベースのフレームワークを提案する。MMRスコアリングにおいて多様性よりもクエリの関連性を優先することで、人間の要約との単一語類似度を向上させつつ、ROUGEメトリクス全体で最先端のパフォーマンスを維持する。特にリソースが限られた環境で優れた性能を発揮する。

ABSTRACT

In Natural Language Processing, multi-document summarization (MDS) poses many challenges to researchers above those posed by single-document summarization (SDS). These challenges include the increased search space and greater potential for the inclusion of redundant information. While advancements in deep learning approaches have led to the development of several advanced language models capable of summarization, the variety of training data specific to the problem of MDS remains relatively limited. Therefore, MDS approaches which require little to no pretraining, known as few-shot or zero-shot applications, respectively, could be beneficial additions to the current set of tools available in summarization. To explore one possible approach, we devise a strategy for combining state-of-the-art models' outputs using maximal marginal relevance (MMR) with a focus on query relevance rather than document diversity. Our MMR-based approach shows improvement over some aspects of the current state-of-the-art results in both few-shot and zero-shot MDS applications while maintaining a state-of-the-art standard of output by all available metrics.

研究の動機と目的

• MDSに特化したトレーニングデータが限られているという課題に対処し、効果的な少サンプルおよびゼロショット要約を可能にすること。
• 微調整が実行可能でないか、コストが高すぎる低リソース環境において、要約品質を向上させること。
• 複数の事前学習モデルからの多様な出力を統合しながら、冗長性を最小限に抑え、クエリへの関連性を最大化すること。
• 微調整をMDSデータに対して行わずとも、MMRベースの統合が最先端のパフォーマンスを達成できることを示すこと。
• クエリに焦点を当てたMMR重み付けが、多様性に焦点を当てたアプローチを上回る可能性があるかどうかを検討すること。

提案手法

• 本フレームワークは、MDSおよびSDSで微調整されたモデルを含む、複数の事前学習モデルからの要約を統合する。
• MDSで事前学習されたモデル向けには、各ドキュメントクラスタを1つのドキュメントとして処理し、他のモデル向けには個々のドキュメントに分割する。
• MMRアルゴリズムを統合された要約出力に適用し、相互要約の多様性よりもクエリ関連性に強く偏らせる。
• 関連性は、候補文とLDAで生成されたクエリドキュメントとの間の意味的類似度によって計算する。
• 最終的な要約は、関連性と冗長性のバランスを最適化するように、反復的にMMRスコアを最大化する文を選択することで構築する。
• ROUGEメトリクスを用いて、少サンプルおよびゼロショット設定下でのMulti-NewsおよびWCEPデータセット上でのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 MMRを用いて複数の最先端モデルを統合することで、少サンプルおよびゼロショット設定下でのMDSパフォーマンスが向上するか？
• RQ2 MMR選択において多様性よりもクエリ関連性を優先することで、ROUGEスコアおよび要約品質が向上するか？
• RQ3 本手法は、低リソースMDSシナリオにおいて、個々のモデルや既存のSOTAアプローチと比較してどのように差をつけるか？
• RQ4 MDSで事前学習されていないモデルを含めることで、特にゼロショット応用においてパフォーマンスがどの程度向上するか？
• RQ5 MMRベースの統合は、語彙レベルの関連性を向上させる一方で、読みやすさと一貫性を維持できるか？

主な発見

• MMR統合手法は、Multi-Newsデータセットで最高のROUGE-1スコア（46.23）を達成し、すべての個別モデルを上回った。
• WCEPデータセットでは、ゼロショット設定下でROUGE-1スコア30.74を達成し、すべてのベースラインモデルより顕著な改善を示した。
• PEGASUS-MDSモデルよりROUGE-2およびROUGE-Lスコアは低かったが、本手法はすべてのメトリクスで最先端のパフォーマンスを維持した。
• ゼロショットWCEP実験では、SOTAモデルに対する相対的改善が顕著に大きかったため、低リソース環境での有効性が顕著に示された。
• 文の断片化や一貫性の欠如を避けるために、完全な文を選択することで、読みやすさと一貫性を保持した。
• 非MDSで事前学習されたモデルが、特に微調整が不可能な状況において、パフォーマンス向上に有意義に寄与していることが示唆された。