[논문 리뷰] Leveraging Lead Bias for Zero-shot Abstractive News Summarization

Chenguang Zhu, Ziyi Yang외 3명|arXiv (Cornell University)|2019. 12. 25.

Topic Modeling참고 문헌 35인용 수 8

한 줄 요약

이 논문은 2140만 건의 필터링된 뉴스 기사 코퍼스를 사용하여, 기사의 리드 편향을 활용해 개요 요약 모델을 사전 훈련함으로써, 피드백 없이도 상태의 기술적 성능을 달성하는 방법을 제안한다. 이 방법은 BART의 ROUGE-1 점수를 DUC2003에서 13.7% 향상시키며, 사전 훈련 후 미세조정 없이도 최고의 성능을 기록한다.

ABSTRACT

A typical journalistic convention in news articles is to deliver the most salient information in the beginning, also known as the lead bias. While this phenomenon can be exploited in generating a summary, it has a detrimental effect on teaching a model to discriminate and extract important information in general. We propose that this lead bias can be leveraged in our favor in a simple and effective way to pre-train abstractive news summarization models on large-scale unlabeled news corpora: predicting the leading sentences using the rest of an article. We collect a massive news corpus and conduct data cleaning and filtering via statistical analysis. We then apply self-supervised pre-training on this dataset to existing generation models BART and T5 for domain adaptation. Via extensive experiments on six benchmark datasets, we show that this approach can dramatically improve the summarization quality and achieve state-of-the-art results for zero-shot news summarization without any fine-tuning. For example, in the DUC2003 dataset, the ROUGE-1 score of BART increases 13.7% after the lead-bias pre-training. We deploy the model in Microsoft News and provide public APIs as well as a demo website for multi-lingual news summarization.

연구 동기 및 목표

• 비용이 많이 들는 미세조정 없이도 저자원, 제로샷 개요 요약 문제를 해결하기 위해.
• 리드 편향이 모델 일반화에 악영향을 미치는 것을 막기 위해, 이를 단서로 보는 대신 사전 훈련 신호로 활용함으로써 이를 해결하기 위해.
• 일반 목적의 언어 모델(BART, T5)을 뉴스 요약 도메인에 적합시키기 위해, 레이블이 없는 데이터를 사용한 자가학습 사전 훈련 방법을 개발하기 위해.
• 특정 작업에 맞게 조정하지 않고도 여러 데이터셋과 언어에서 효과적인 제로샷 요약을 가능하게 하기 위해.
• 공개 API와 데모 웹사이트를 통해 실시간으로 사용할 수 있는 고성능 다국어 요약 시스템을 생산 환경에 구현하기 위해(Microsoft News).

제안 방법

• 이 방법은 리드 편향 예측을 자가학습 사전 훈련 목적으로 정의한다: 기사의 비리드 부분이 주어지면, 이를 요약으로 간주하는 리드 문장을 예측한다.
• 3년간의 Bing 검색 인덱스에서 수집한 2140만 건의 대규모 뉴스 코퍼스를 확보한다.
• 통계적 임계값을 사용한 데이터 필터링을 적용한다: 상위 3문장과 기사 나머지 부분 간의 정지어가 아닌 단어의 겹침 비율 ≥0.65인 기사만 유지한다.
• 이 필터링된 데이터에 대해 사전 훈련 목표를 적용하여 BART와 T5 모델을 미세조정함으로써 BART-LB 및 T5-LB 모델을 도출한다.
• 결과로 도출된 모델은 제로샷 설정에서 사용되며, 어떤 미세조정이나 작업 특화 조정 없이도 테스트 데이터셋에 직접 적용된다.
• 다국어 지원을 위해, 비영어 기사들은 영어로 번역되고, 제로샷 모델을 통해 요약된 후 Azure Translator를 사용해 다시 원본 언어로 번역된다.

실험 결과

연구 질문

• RQ1 뉴스 기사의 리드 편향을 자가학습 신호로 활용하여 제로샷 개요 요약 성능을 향상시킬 수 있는가?
• RQ2 리드 예측을 통한 레이블이 없는 뉴스 데이터 사전 훈련이 훈련 분포 외부로의 일반화 성능 향상에 기여하는가?
• RQ3 제안된 방법이 여러 벤치마크 데이터셋에서 제로샷 및 비지도 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ4 모델은 미세조정 없이도 다양한 뉴스 도메인과 언어 간에 일반화 가능한가?
• RQ5 모델은 단순히 리드 문장을 복사하는 것이 아니라, 개요적이고 재구성된 요약을 생성하는가?

주요 결과

• BART-LB는 사전 훈련 후 미세조정 없이도 DUC2003에서 원본 BART 모델 대비 ROUGE-1 점수를 13.7% 절대적으로 향상시켰다.
• DUC2004와 XSum에서 BART-LB는 각각 ROUGE-1 점수를 8.3%, 6.9% 향상시켜 원본 BART 및 기타 제로샷 베이스라인을 뛰어넘었다.
• CNN/DailyMail, XSum, Gigawords에서 BART-LB는 PEGASUS의 제로샷 버전보다 ROUGE-1 점수를 각각 7.6%, 6.9%, 1.8% 높게 기록했다.
• 인간 평가 결과, BART-LB와 T5-LB는 BART와 T5보다 논리적 흐름이 우수하고, 더 높은 개요적 요약 품질을 보였으며, 반복적이거나 논리적이지 않은 표현을 피했다.
• 오류 분석 결과, 가장 흔한 오류 유형은 부적절한 세부 정보 포함(50개 예제 중 17개), 이어 잘못된 공호성 참조(50개 중 12개)였지만, 사실 오류는 비교적 드물게 발생했다(50개 중 5개).
• 모델는 하이퍼파rameter 선택에 대해 강건하며, 재구성된 문장과 논리적인 순서로 요약을 생성함으로써 단순히 리드 문장을 복사하지 않는 것으로 확인되었다.