[논문 리뷰] Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization

Xianjun Yang, Yan Li외 3명|arXiv (Cornell University)|2023. 02. 16.

Topic Modeling인용 수 89

한 줄 요약

본 논문은 다양한 데이터셋에서 aspect- 및 query-based 요약에 대해 ChatGPT를 평가하고 Rouge 점수가 전통적인 미세튜닝 방법과 비슷함을 발견했다.

ABSTRACT

Text summarization has been a crucial problem in natural language processing (NLP) for several decades. It aims to condense lengthy documents into shorter versions while retaining the most critical information. Various methods have been proposed for text summarization, including extractive and abstractive summarization. The emergence of large language models (LLMs) like GPT3 and ChatGPT has recently created significant interest in using these models for text summarization tasks. Recent studies \cite{goyal2022news, zhang2023benchmarking} have shown that LLMs-generated news summaries are already on par with humans. However, the performance of LLMs for more practical applications like aspect or query-based summaries is underexplored. To fill this gap, we conducted an evaluation of ChatGPT's performance on four widely used benchmark datasets, encompassing diverse summaries from Reddit posts, news articles, dialogue meetings, and stories. Our experiments reveal that ChatGPT's performance is comparable to traditional fine-tuning methods in terms of Rouge scores. Moreover, we highlight some unique differences between ChatGPT-generated summaries and human references, providing valuable insights into the superpower of ChatGPT for diverse text summarization tasks. Our findings call for new directions in this area, and we plan to conduct further research to systematically examine the characteristics of ChatGPT-generated summaries through extensive human evaluation.

연구 동기 및 목표

• 다수 도메인에 걸쳐 ChatGPT의 aspect-based 요약 및 query-based 요약 성능 평가.
• Rouge 지표를 사용하여 ChatGPT 출력과 전통적 미세튜닝 간 비교.
• 프롬프트 설계와 데이터셋 특성이 ChatGPT 요약 품질에 미치는 영향 조사.
• 제어 가능한 요약 작업에서 LLM 활용에 대한 인사이트와 방향 제시.

제안 방법

• 공개 벤치마크 데이터셋을 사용한 aspect- 및 query-based 요약 (CovidET, NEWTS, QMSum, SQuaLITY).
• Zero-shot 및 가능하면 1-shot 프롬프트에서 Rouge-1/2/L/Lsum으로 ChatGPT 평가.
• 데이터셋별로 ChatGPT 결과를 미세튜닝 기반과 비교.
• 추가 지표(Coverage, Density, Compression) 및 n-gram 통계로 요약 분석.
• 입력 길이 및 프롬프트 전략이 성능에 미치는 영향 분석.
• ChatGPT의 토큰 한계 및 향후 인간 평가 계획과 관련된 한계점 토의.

실험 결과

연구 질문

• RQ1 ChatGPT가 미세튜닝 모델과 같은 Rouge 수준으로 aspect- 및 query-based 작업의 요약을 생성할 수 있는가?
• RQ2 다양한 도메인 Reddit, News, meetings, stories에서 타깃 요약에 대해 ChatGPT의 성능은 어떠한가?
• RQ3 어떤 요인들(프롬프트, 입력 길이, one-shot vs zero-shot)이 ChatGPT의 요약 품질에 영향을 미치는가?
• RQ4 추상적 요약성과 추출적 경향 사이에 체계적 차이가 있는가?

주요 결과

• ChatGPT는 모든 데이터셋에서 전통적인 미세튜닝과 유사한 Rouge 점수를 달성한다.
• QMSum에서 골든 스팬으로, Rouge-1 및 Rouge-2에서 미세튜닝을 능가할 수 있지만 Rouge-L은 뒤처질 수 있다.
• CovidET는 입력이 짧고 단일 문장 요약으로 인해 ChatGPT 성능이 가장 약하게 나타난다.
• 긴 입력(QMSum, SQuaLITY)의 경우 ChatGPT는 더 추상적인 요약을 생성하는 경향이 있으며 고유한 짧은그램 사용이 더 많다.
• 뉴스 도메인에서 ChatGPT는 모든 Rouge 지표에서 미세튜닝을 능가하며, 지시 기반 모델에 대한 이전 연구 결과와 일치한다.
• ChatGPT의 제로샷 결과는 프롬프트와 맥락이 유리하면 FT에 근접하거나 일치할 수 있지만 Rouge-L은 구두 스타일 데이터에서 여전히 도전 과제이다.