[論文レビュー] ODSum: New Benchmarks for Open Domain Multi-Document Summarization

Yijie Zhou, Kejian Shi+4 more|arXiv (Cornell University)|Sep 16, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文では、現実的でクエリ駆動型のデータセットが不足している問題に対処するため、オープンドメイン多文書要約（ODMDS）のための新しいベンチマーク、ODSumを紹介する。既存のクエリ焦点型MDSデータセットをルールベースの方法でODMDSデータセットに変換する手法を提案し、エンドツーエンドの検索・要約パイプラインの評価を可能にする。主な発見として、検索エラーによる大規模言語モデル（LLM）の性能低下が顕著であり、検索品質と要約効果性の間にはきわめて強い依存関係があることが示された。G-Evalでは、要約モデル間での品質のばらつきが顕著に現れた。

ABSTRACT

Open-domain Multi-Document Summarization (ODMDS) is a critical tool for condensing vast arrays of documents into coherent, concise summaries. With a more inter-related document set, there does not necessarily exist a correct answer for the retrieval, making it hard to measure the retrieving performance. We propose a rule-based method to process query-based document summarization datasets into ODMDS datasets. Based on this method, we introduce a novel dataset, ODSum, a sophisticated case with its document index interdependent and often interrelated. We tackle ODMDS with the extit{retrieve-then-summarize} method, and the performance of a list of retrievers and summarizers is investigated. Through extensive experiments, we identify variances in evaluation metrics and provide insights into their reliability. We also found that LLMs suffer great performance loss from retrieving errors. We further experimented methods to improve the performance as well as investigate their robustness against imperfect retrieval. We will release our data and code at https://github.com/yale-nlp/ODSum.

研究の動機と目的

• オープンドメイン多文書要約（ODMDS）における現実的でクエリ駆動型のベンチマークの不足を解消し、実世界の知識抽出に不可欠である。
• 過去のODMDS研究における制限、たとえば擬似クエリの構築や最適でない文書データベース設計を克服する。
• 現実世界の課題を反映するデータセットを構築する：大規模でほとんど関連のない文書コレクションから関連文書を検索し、それらを一貫性のある形で要約すること。
• 特に不完全な検索条件下でも、多様な検索モデルと要約モデルの性能を現実的なODMDS環境で評価する。
• 評価指標の信頼性とLLMベースの要約パイプラインのロバスト性に関する知見を提供する。

提案手法

• ルールベースのデータ変換パイプラインにより、既存のクエリ焦点型多文書要約データセット（SQuALITYおよびQMSum）から、参照要約からユーザーに似たクエリを抽出することで、ODMDS互換のデータセットに変換する。
• 得られたODSumデータセットは、相互に依存する文書インデックスと現実的なユーザーの情報ニーズを備えており、現実世界の検索課題を模擬する。
• 本研究では、標準的な検索・要約パイプラインを採用しており、まず検索モデルが大規模コーパスから関連文書を特定し、その後で抽象的要約が生成される。
• 複数の検索モデル（例：ドンスリトリーバー、BM25）および要約モデル（例：微調整済みBART、GPT-3.5やLlamaなどのLLM）をベンチマーク上で評価する。
• ROUGE、G-Eval、その他の指標を用いて複数の評価指標を用い、抽出的および抽象的要約の品質を評価する。
• 制御された検索エラーを導入することで、要約性能への影響を調査するロバストネス分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 検索モデルの性能が、オープンドメイン多文書要約における下流の要約品質にどのように影響するか？
• RQ2 不完全またはノイズの多い検索結果が供給された場合、LLMベースの要約モデルはどの程度性能を低下させるか？
• RQ3 ROUGE や G-Eval といった標準的評価指標は、異なる検索条件下で要約品質を測定するうえでどれほど信頼できるか？
• RQ4 改善された検索戦略は、LLMベースの要約パイプラインにおける性能低下を緩和できるか？
• RQ5 多様で相互に関連する文書セットに直面した場合、さまざまな要約モデルは、ロバストネスと一貫性の観点からどのように比較されるか？

主な発見

• 検索結果が不正確な場合、LLMは顕著な性能低下を示すため、検索と要約の品質の間に強い依存関係があることが示された。
• G-Eval は、異なるモデル間での要約品質のばらつきが顕著に現れ、評価指標の選択がモデルの性能評価に強く影響することが示唆された。
• 提案されたルールベースの手法により、既存の qMDS データセットを、ユーザーに似たクエリと相互に関連する文書セットを備えた現実的な ODMDS ベンチマークに成功して変換できた。
• 検索エラーはエンドツーエンドの ODMDS パイプラインにおける主なボトルネックであり、わずかな検索失敗でも要約品質の著しい低下を引き起こすことがわかった。
• 微調整済みの抽象的要約モデル（例：BART）は、検索が不完全な状況下でも、ゼロショット LLM よりも一貫性と事実の整合性の観点で優れている。
• ODSum ベンチマークは、現在の評価慣行における深刻な弱みを露呈しており、特に事実の正確性や一貫性を考慮しない ROUGE への過剰依存が問題であることが明らかになった。