[論文レビュー] CQSumDP: A ChatGPT-Annotated Resource for Query-Focused Abstractive Summarization Based on Debatepedia

Md Tahmid Rahman Laskar, Mizanur Rahman+3 more|arXiv (Cornell University)|Mar 31, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、クエリ指向の抽象的要約のための、洗練されクエリがアノテートされた Debatepedia データセットのバージョン、CQSumDP を提案する。ChatGPT を用いて不要または低品質なクエリを再生成することで、元のデータセットよりもクエリの関連性と要約の質の両方で優れた性能を示した。大規模言語モデル（LLM）を用いたデータクリーニングが、要約タスクのベンチマーク性能を著しく向上させることを示している。

ABSTRACT

Debatepedia is a publicly available dataset consisting of arguments and counter-arguments on controversial topics that has been widely used for the single-document query-focused abstractive summarization task in recent years. However, it has been recently found that this dataset is limited by noise and even most queries in this dataset do not have any relevance to the respective document. In this paper, we present a methodology for cleaning the Debatepedia dataset by leveraging the generative power of large language models to make it suitable for query-focused abstractive summarization. More specifically, we harness the language generation capabilities of ChatGPT to regenerate its queries. We evaluate the effectiveness of the proposed ChatGPT annotated version of the Debatepedia dataset using several benchmark summarization models and demonstrate that the newly annotated version of Debatepedia outperforms the original dataset in terms of both query relevance as well as summary generation quality. We will make this annotated and cleaned version of the dataset publicly available.

研究の動機と目的

• 広く使われている Debatepedia データセットにおけるノイズが多く不適切なクエリの深刻な問題に対処すること。
• 人的アノテーションに代わる、スケーラブルで費用対効果の高い方法で、大規模言語モデル（LLM）を用いてデータ品質を向上させる手法を開発すること。
• 今後の研究を支援するために、公開可能で高品質なベンチマークデータセットを構築すること。
• LLM が生成したクエリが、クエリの関連性と要約の質の両面で、より優れたパフォーランスをもたらすかどうかを検証すること。

提案手法

• ChatGPT の生成機能を活用し、Debatepedia データセット内の各ドキュメント-要約ペアに対してクエリを再生成した。
• ドキュメントおよび参照要約の両方に関連するクエリを生成するよう指示するプロンプトベースのアプローチを採用した。
• 生成されたクエリがソースコンテンツおよび要約と意味的に整合するかを保証するためのフィルタリングと検証プロセスを適用した。
• BART-Large を用いたゼロショット評価を、元のデータセットおよび CQSumDP データセットの両方で実施し、モデルのパフォーマンスを比較した。
• サンプルクエリの定性的分析を通じて、元のクエリと ChatGPT が生成したクエリの関連性と整合性を比較した。
• 洗練およびアノテーションが施された CQSumDP データセットを公開し、今後の研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 GPT や ChatGPT などの大規模言語モデルが、ノイズが多く不適切な既存の要約データセットのクエリを効果的に再生成し、品質を向上させることができるか？
• RQ2 LLM が生成したクエリを用いることで、元のクエリと比較して、クエリの関連性と要約の質に測定可能な向上が見られるか？
• RQ3 標準的な抽象的要約モデル（例：BART-Large）が、元の Debatepedia ではなく洗練済みの CQSumDP データセットで微調整または評価された場合、性能はどのように変化するか？
• RQ4 自然言語処理ベンチマーク作成における人的アノテーションと比較して、ChatGPT を用いたデータアノテーションは、コストと時間をどの程度削減できるか？
• RQ5 CQSumDP データセットは、今後のクエリ指向の抽象的要約分野の研究における信頼性があり効果的なベンチマークとして機能できるか？

主な発見

• CQSumDP データセットは、複数のベンチマークモデルを用いた評価において、元の Debatepedia データセットを上回るクエリの関連性と要約生成の質を示した。
• BART-Large を用いたゼロショット評価において、CQSumDP データセット上で評価したモデルは、元のデータセット上で評価した同じモデルよりも優れたパフォーマンスを示した。これにより、データ品質の向上が確認された。
• 定性的分析の結果、ChatGPT が生成したクエリは、元の1語または関連のないクエリと比較して、はるかに記述が豊かで、関連性があり、整合性が高かった。
• ChatGPT を用いた平均クエリ生成速度は、分あたり約4件であり、人的アノテーションに比べて極めて高い効率性を示した。
• ChatGPT を用いたデータアノテーションは、人的アノテーションに比べて、コストと時間の両面で顕著に効率的であり、特に ChatGPT が無料で利用可能であることを考慮すると顕著であった。
• 本研究は、LLM を用いたデータクリーニングが、要約タスクを含む既存の NLP データセットの品質向上に実用的でスケーラブルかつ効果的な方法であることを確認した。