[논문 리뷰] UniSumm and SummZoo: Unified Model and Diverse Benchmark for Few-Shot Summarization

Yulong Chen, Yang Liu외 5명|arXiv (Cornell University)|2022. 11. 17.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 다양한 요약 작업에서 사전 훈련한 통합적인 소수 샘플 요약 모델인 UniSumm을 소개한다. 이 모델은 새로운 작업에 대해 프리픽스 템플릿을 사용해 미세조정되며, 최신 성능을 달성한다. 또한, 8개의 작업과 각 작업당 5개의 소수 샘플 세트를 포함하는 강건하고 다양한 벤치마크인 SummZoo를 제안하여 공정한 평가를 가능하게 한다. UniSumm은 강력한 베이스라인을 능가하며, 인간 평가에서는 GPT-3.5와 유사한 성능을 보이며, 다양한 소수 샘플에 걸쳐 더 높은 안정성을 보였다.

ABSTRACT

The high annotation costs and diverse demands of various summarization tasks motivate the development of few-shot summarization. However, despite the emergence of many summarization tasks and datasets, the current training paradigm for few-shot summarization systems ignores potentially shareable knowledge in heterogeneous datasets. To this end, we propose extsc{UniSumm}, a unified few-shot summarization model pre-trained with multiple summarization tasks and can be prefix-tuned to excel at any few-shot summarization task. Meanwhile, to better evaluate few-shot summarizers, under the principles of diversity and robustness, we assemble and release a new benchmark extsc{SummZoo}. It consists of $8$ summarization tasks with multiple sets of few-shot samples for each task, covering diverse domains. Experimental results and analysis show that extsc{UniSumm} outperforms strong baselines by a large margin across all sub-tasks in extsc{SummZoo} under both automatic and human evaluations and achieves comparable results in human evaluation compared with a GPT-3.5 model.

연구 동기 및 목표

• 다양한 요약 작업의 높은 비용과 다양성을 해결하기 위해, 다양한 데이터셋 간 공유 지식을 통해 소수 샘플 적응을 가능하게 한다.
• 기존 요약 데이터셋에서의 다중 작업 지식을 활용하여 새로운 작업에 직접 미세조정하는 데서 비롯하는 한계를 극복한다.
• 다중 작업 학습과 프리픽스 템플릿을 결합한 효과적인 소수 샘플 적응을 위한 통합 사전 훈련 프레임워크를 개발한다.
• 표본 선택 편향을 최소화하여 공정하고 신뢰할 수 있는 소수 샘플 요약 모델 평가를 가능하게 하기 위해 강건하고 다양한 벤치마크를 구축한다.
• 통합된 훈련 및 조정 파라다임을 통해 다양한 소수 샘플에 걸쳐 모델의 일반화 능력과 안정성을 확보한다.

제안 방법

• 다양한 요약 데이터셋 8개에서 다중 작업 학습을 통해 작업별 및 일반 프리픽스 벡터를 사용하여 통합적인 트랜스포머 기반 모델을 사전 훈련한다.
• 사전 훈련 중 비대칭적 가중치 감소를 적용하여 공유 파라미터와 작업별 프리픽스 간 균형을 맞추고 지식 전이를 향상시킨다.
• 소수 샘플 적응 단계에서 프리픽스 템플릿을 사용한다: 기반 네트워크를 고정하고 새로운 작업에 대해 오직 일반 프리픽스만 조정한다.
• 사전 훈련된 일반 프리픽스를 초기화로 사용하여 제로샷 전이 성능과 적응 속도를 향상시킨다.
• 다양한 도메인, 형식, 길이를 포함하는 8개의 요약 작업으로 구성된 SummZoo를 구축하며, 각 작업당 5개의 고유한 소수 샘플 학습 세트를 제공한다.
• 모든 작업당 5개의 소수 샘플 세트에 대한 평균 결과를 요구하여 평가를 표준화함으로써 강건성과 공정성을 확보한다.

실험 결과

연구 질문

• RQ1 다양한 요약 작업에서 사전 훈련한 통합 모델이 새로운 소수 샘플 요약 작업으로 일반화하는 데 효과적인가?
• RQ2 사전 훈련된 일반 프리픽스를 사용한 프리픽스 템플릿은 직접 미세조정에 비해 소수 샘플 요약 성능을 어떻게 향상시키는가?
• RQ3 다양한 데이터셋을 활용한 다중 작업 사전 훈련이 다양한 소수 샘플에 걸쳐 모델의 강건성과 안정성에 얼마나 기여하는가?
• RQ4 제안된 벤치마크인 SummZoo는 기존의 벤치마크에 비해 소수 샘플 요약 모델 평가의 공정성과 신뢰성은 어떻게 향상시키는가?
• RQ5 통합 모델은 다양한 소수 샘플 데이터에 걸쳐 더 안정적인 성능을 보이며, GPT-3.5와 같은 대규모 자동 회귀 모델과 인간 평가에서 유사한 성능을 달성할 수 있는가?

주요 결과

• 자동 평가 지표에서 UniSumm은 SummZoo의 모든 서브태스크에서 강력한 베이스라인을 능가하며 일관된 우수성을 입증했다.
• 인간 평가에서 UniSumm은 GPT-3.5 모델(텍스트-다빈치-002)과 유사한 성능을 달성했으며, 다양한 소수 샘플에 걸쳐 뚜렷한 안정성을 보였다.
• 다중 작업 사전 훈련과 프리픽스 템플릿의 조합이 UniSumm의 성능에 필수적이며, 추론 실험에서 둘 중 하나를 제거할 경우 성능 저하가 뚜렷하게 나타났다.
• UniSumm은 표본 선택 편향에 더 강건하며, 각 작업당 5개의 소수 샘플 세트 전반에서 높은 성능을 유지했고, 베이스라인은 성능 변동이 심했다.
• 사전 훈련된 일반 프리픽스는 프리픽스 템플릿의 효과적인 초기화로 기능하여 새로운 작업에 빠르고 효과적으로 적응할 수 있도록 했다.
• SummZoo는 각 작업당 다수의 소수 샘플 세트를 포함하여 더 공정하고 신뢰할 수 있는 평가를 가능하게 하며, 모델 비교의 변동성과 편향을 감소시켰다.