[論文レビュー] Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization

Xianjun Yang, Yan Li+3 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用数 89

ひとこと要約

本論文は多様なデータセットにおける要素ベースおよびクエリベースの要約タスクでChatGPTを評価し、Rougeスコアが従来のファインチューニング手法と同等であると報告します。

ABSTRACT

Text summarization has been a crucial problem in natural language processing (NLP) for several decades. It aims to condense lengthy documents into shorter versions while retaining the most critical information. Various methods have been proposed for text summarization, including extractive and abstractive summarization. The emergence of large language models (LLMs) like GPT3 and ChatGPT has recently created significant interest in using these models for text summarization tasks. Recent studies \cite{goyal2022news, zhang2023benchmarking} have shown that LLMs-generated news summaries are already on par with humans. However, the performance of LLMs for more practical applications like aspect or query-based summaries is underexplored. To fill this gap, we conducted an evaluation of ChatGPT's performance on four widely used benchmark datasets, encompassing diverse summaries from Reddit posts, news articles, dialogue meetings, and stories. Our experiments reveal that ChatGPT's performance is comparable to traditional fine-tuning methods in terms of Rouge scores. Moreover, we highlight some unique differences between ChatGPT-generated summaries and human references, providing valuable insights into the superpower of ChatGPT for diverse text summarization tasks. Our findings call for new directions in this area, and we plan to conduct further research to systematically examine the characteristics of ChatGPT-generated summaries through extensive human evaluation.

研究の動機と目的

• 複数の領域にわたる要素ベースおよびクエリベース要約タスクにおけるChatGPTの性能を評価する。
• Rouge指標を用いてChatGPTの出力と従来のファインチューニングを比較する。
• プロンプト設計とデータセットの特性がChatGPTの要約品質に与える影響を調査する。
• コントロール可能な要約タスクにおける大規模言語モデルの活用に関する洞察と方向性を提供する。

提案手法

• 要素ベースおよびクエリベース要約の公的ベンチマークデータセットを使用する（CovidET、NEWTS、QMSum、SQuaLITY）。
• 適用可能な場合は零-shotおよび1-shotプロンプトでRouge-1/2/L/Lsumを用いてChatGPTを評価する。
• 各データセットでChatGPTの結果をファインチューニング済みのベースラインと比較する。
• 追加指標（Coverage、Density、Compression）およびn-gram統計を用いて要約を分析する。
• 入力長とプロンプト戦略が性能に与える影響を検討する。
• ChatGPTのトークン制限に関連する制限と今後の人間による評価計画について論じる。

実験結果

リサーチクエスチョン

• RQ1 要素ベースおよびクエリベースのタスクに対して、ChatGPTはファインチューニング済みモデルと同等のRouge水準の要約を作成できるか？
• RQ2 対象要約において、Reddit、News、会議、ストーリーなどの多様な領域でChatGPTの性能はどうか？
• RQ3 プロンプト、入力長、one-shot vs zero-shotなどの要因がChatGPTの要約品質にどのように影響するか？
• RQ4 要約の抽象的傾向と抽出的傾向の点で、ChatGPTとファインチューニング済みモデルに体系的な違いはあるか？

主な発見

データセット	モデル	R-1	R-2	R-L	R-Lsum
CovidET	Fine-tuning	26.19	6.85	17.86	20.82
CovidET	ChatGPT	20.81	3.99	15.35	15.36
NEWTS	Fine-tuning	31.78	10.83	20.54	-
NEWTS	ChatGPT	32.54	11.37	20.74	20.74
QMSum	Fine-tuning	32.29	8.67	28.17	-
QMSum	ChatGPT	28.34	8.74	17.81	18.01
QMSum(Golden)	Fine-tuning	36.06	11.36	31.27	-
QMSum(Golden)	ChatGPT	36.83	12.78	24.23	24.19
SQuaLITY	Fine-tuning	38.20	9.00	20.20	-
SQuaLITY	ChatGPT	37.02	8.19	18.45	22.56
Avg.	Fine-tuning	32.90	9.34	23.61	-
Avg.	ChatGPT	30.94	8.96	19.22	-

• ChatGPTはすべてのデータセットで従来のファインチューニングと同等のRougeスコアを達成する。
• QMSumではゴールデンスパンを用いた場合、Rouge-1とRouge-2でファインチューニングを上回ることがあるが、Rouge-Lは遅れをとる。
• CovidETは要約が短く1文であるためChatGPTの性能が最も弱いことを示している。
• 長い入力（QMSum、SQuaLITY）の場合、ChatGPTはより抽象的な要約を生成し、独自の短語の使用が増える傾向がある。
• ニュース分野では、ChatGPTはすべてのRouge指標でファインチューニングを上回り、指示に微調整されたモデルに関する先行研究と一致している。
• プロンプトと文脈が有利な場合、ChatGPTのゼロショット結果はFTに近づくか一致することがあるが、Rouge-Lは口述スタイルのデータで依然課題である。