[논문 리뷰] CQSumDP: A ChatGPT-Annotated Resource for Query-Focused Abstractive Summarization Based on Debatepedia

Md Tahmid Rahman Laskar, Mizanur Rahman외 3명|arXiv (Cornell University)|2023. 03. 31.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 쿼리 중심 추상적 요약을 위한 청소된 및 쿼리가 주석 처리된 Debatepedia 데이터셋인 CQSumDP를 제안한다. 이는 ChatGPT를 사용해 관련성 없거나 저품질의 쿼리를 재생성함으로써 이루어진다. 결과적으로 생성된 데이터셋은 원본 데이터셋 대비 쿼리 관련성과 요약 품질에서 뛰어난 성능을 보이며, LLM 기반의 데이터 청소가 요약 작업을 위한 벤치마크 성능을 크게 향상시킬 수 있음을 입증한다.

ABSTRACT

Debatepedia is a publicly available dataset consisting of arguments and counter-arguments on controversial topics that has been widely used for the single-document query-focused abstractive summarization task in recent years. However, it has been recently found that this dataset is limited by noise and even most queries in this dataset do not have any relevance to the respective document. In this paper, we present a methodology for cleaning the Debatepedia dataset by leveraging the generative power of large language models to make it suitable for query-focused abstractive summarization. More specifically, we harness the language generation capabilities of ChatGPT to regenerate its queries. We evaluate the effectiveness of the proposed ChatGPT annotated version of the Debatepedia dataset using several benchmark summarization models and demonstrate that the newly annotated version of Debatepedia outperforms the original dataset in terms of both query relevance as well as summary generation quality. We will make this annotated and cleaned version of the dataset publicly available.

연구 동기 및 목표

• 쿼리 중심 추상적 요약을 위한 널리 사용되는 Debatepedia 데이터셋에서의 노이즈가 많고 관련성이 없는 쿼리 문제를 해결하기 위해.
• 수동 주석 처리 대신 대규모 언어 모델을 사용하여 확장 가능하고 비용 효율적인 데이터 품질 향상 방법을 개발하기 위해.
• 학습 및 평가를 위한 요약 모델 향상을 위한 공개 가능한 고품질 벤치마크 데이터셋을 구축하기 위해.
• LLM에 의해 생성된 쿼리가 쿼리 관련성과 요약 품질 양면에서 더 나은 성능을 낼 수 있음을 검증하기 위해.

제안 방법

• ChatGPT의 생성 능력을 활용하여 Debatepedia 데이터셋의 각 문서-요약 쌍에 대해 쿼리를 재생성했다.
• ChatGPT가 문서 및 기준 요약과 관련된 쿼리를 생성하도록 지시하는 프롬프트 기반 접근 방식을 사용했다.
• 생성된 쿼리가 소스 콘텐츠 및 요약과 의미적으로 일치하는지 보장하기 위해 필터링 및 검증 절차를 적용했다.
• BART-Large를 사용해 원본 데이터셋과 CQSumDP 데이터셋 모두에서 제로샷 평가를 실시하여 모델 성능을 비교했다.
• 표본 쿼리를 대상으로 정성적 분석을 수행하여 원본 쿼리와 ChatGPT에 의해 생성된 쿼리 간의 관련성과 일관성의 차이를 비교했다.
• 향후 연구를 지원하기 위해 청소되고 주석 처리된 CQSumDP 데이터셋을 공개했다.

실험 결과

연구 질문

• RQ1 GPT와 같은 대규모 언어 모델이 기존의 노이즈가 많은 요약 데이터셋의 쿼리를 효과적으로 재생성하여 품질을 향상시킬 수 있는가?
• RQ2 LLM에 의해 생성된 쿼리를 사용할 경우 원본 쿼리 대비 쿼리 관련성과 요약 품질에서 측정 가능한 향상이 이루어지는가?
• RQ3 표준 추상적 요약 모델(예: BART-Large)이 CQSumDP 데이터셋에 대해 피지컬 트레이닝 또는 평가를 수행할 경우 원본 Debatepedia 데이터셋 대비 성능은 어떻게 비교되는가?
• RQ4 NLP 벤치마크 구축 시 인간 주석 처리에 비해 ChatGPT를 사용한 데이터 주석 처리가 얼마나 비용과 시간 효율적인가?
• RQ5 CQSumDP 데이터셋은 향후 쿼리 중심 추상적 요약 분야의 연구를 위한 신뢰할 수 있고 효과적인 벤치마크로 기능할 수 있는가?

주요 결과

• 다양한 벤치마크 모델을 대상으로 CQSumDP 데이터셋은 원본 Debatepedia 데이터셋 대비 쿼리 관련성과 요약 생성 품질에서 뛰어난 성능을 보였다.
• BART-Large를 CQSumDP 데이터셋에 대해 제로샷 평가한 결과, 동일한 모델이 원본 데이터셋에서의 성능보다 뛰어난 성능을 보였다. 이는 데이터 품질 향상이 확인된 것이다.
• 정성적 분석 결과, ChatGPT에 의해 생성된 쿼리는 원본의 한 단어 또는 관련 없는 쿼리에 비해 훨씬 더 기술적이고 관련성 있으며 일관성이 높았다.
• ChatGPT를 사용한 평균 쿼리 생성 속도는 약 분당 4개로, 인간 주석 처리에 비해 높은 효율성을 보였다.
• ChatGPT를 사용한 데이터 주석 처리의 비용 및 시간 효율성은 인간 기반 주석 처리에 비해 뚜렷하게 높았으며, 특히 ChatGPT의 무료 접근성 덕분이었다.
• 이 연구는 LLM 기반의 데이터 청소가 요약 작업을 위한 기존 NLP 데이터셋 향상에 실현 가능하고 확장 가능하며 효과적인 방법임을 확인했다.