[논문 리뷰] Make Lead Bias in Your Favor: Zero-shot Abstractive News Summarization

Chenguang Zhu, Ziyi Yang외 3명|arXiv (Cornell University)|2019. 12. 25.

Topic Modeling참고 문헌 10인용 수 6

한 줄 요약

이 논문은 뉴스 기사의 리드 편향을 활용하여 추상적 요약을 위한 자기지도 사전학습 신호로 삼는 방법을 제안한다. 기사의 나머지 텍스트로부터 리드 문장을 예측함으로써, 대규모 정제된 뉴스 코퍼스를 사용해, 피인식 조정 없이도 여섯 개의 벤치마크에서 성능이 크게 향상되었으며, BART는 DUC2003에서 피인식 조정 없이도 ROUGE-1 점수를 13.7% 향상시켰다.

ABSTRACT

Lead bias is a common phenomenon in news summarization, where early parts of an article often contain the most salient information. While many algorithms exploit this fact in summary generation, it has a detrimental effect on teaching the model to discriminate and extract important information in general. We propose that the lead bias can be leveraged in our favor in a simple and effective way to pre-train abstractive news summarization models on large-scale unlabeled news corpora: predicting the leading sentences using the rest of an article. We collect a massive news corpus and conduct data cleaning and filtering via statistical analysis. We then apply the proposed self-supervised pre-training to existing generation models BART and T5 for domain adaptation. Via extensive experiments on six benchmark datasets, we show that this approach can dramatically improve the summarization quality and achieve state-of-the-art results for zero-shot news summarization without any fine-tuning. For example, in the DUC2003 dataset, the ROUGE-1 score of BART increases 13.7% after the lead-bias pre-training. We deploy the model in Microsoft News and provide public APIs as well as a demo website for multi-lingual news summarization.

연구 동기 및 목표

• 피인식 조정 없이도 일반화를 가능하게 함으로써 저자원 추상적 뉴스 요약 문제를 해결한다.
• 기존 모델들이 추론 도중 리드 편향에 크게 의존하는 데서 비롯되는 일반화의 한계를 극복한다.
• 리드 편향을 감독 신호로 활용하여 표현 학습을 향상시키는 자기지도 사전학습 목표를 개발한다.
• 대규모 비라벨 뉴스 데이터를 활용해 기존 생성 모델(BART, T5)의 도메인 적응을 가능하게 한다.
• 단순하면서도 효과적인 사전학습 전략을 통해 여러 벤치마크 데이터셋에서 최고의 제로샷 성능을 달성한다.

제안 방법

• 저품질 또는 노이즈가 많은 기사들을 제거하기 위해 데이터 수집 및 통계적 필터링을 통해 대규모 뉴스 코퍼스를 구축한다.
• 기사의 리드 문장을 나머지 텍스트만을 사용해 예측하는 자기지도 사전학습 목표를 설계한다.
• 표현을 정렬하기 위해 대조 학습 목표를 사용해 마스크된 리드 예측 작업에 대해 사전학습된 모델을 피인식 조정한다.
• BART와 T5와 같은 사전학습된 모델을 이 리드 편향 사전학습을 통해 피인식 조정 없이 추상적 뉴스 요약에 적합하게 조정한다.
• 사전학습된 모델을 직접 추론에 활용해, 새로운 뉴스 기사에 대해 제로샷 요약을 가능하게 한다.
• 최종 모델을 Microsoft News에 구현하고, 보다 넓은 접근성을 확보하기 위해 공개 API와 多국어 데모 웹사이트를 제공한다.

실험 결과

연구 질문

• RQ1 뉴스 기사의 리드 편향이 추상적 요약 향상을 위해 효과적으로 자기지도 신호로 재사용될 수 있는가?
• RQ2 리드 예측 목표에 대해 사전학습하면, 새로운 데이터셋에서 제로샷 요약 성능이 향상되는가?
• RQ3 표준 마스크 언어 모델링 사전학습 대비 이 방법이 일반화 능력을 얼마나 향상시키는가?
• RQ4 여러 벤치마크 데이터셋에서 ROUGE 점수 측면에서 기존 접근법과 비교해 이 방법은 어떻게 성능을 냈는가?
• RQ5 이 방법을 통해 피인식 조정 없이도 최고의 제로샷 성능을 달성할 수 있는가?

주요 결과

• 제안된 리드 편향 사전학습 방법은 여섯 개의 벤치마크 데이터셋에서 제로샷 추상적 요약 성능을 크게 향상시켰다.
• DUC2003 데이터셋에서 BART의 ROUGE-1 점수는 리드 편향 사전학습 후 13.7% 향상되어 상당한 성능 향상을 보였다.
• 피인식 조정 없이도 이 방법은 제로샷 뉴스 요약에서 최고의 성능을 달성했다.
• 다양한 뉴스 도메인과 언어에 걸쳐 효과적으로 일반화되었으며, 이를 입증하기 위해 다국어 데모와 공개 API를 구현했다.
• 자기지도 사전학습 목표는 요약에 대한 명시적 지도 없이도 중요한 정보 추출 능력을 효과적으로 향상시켰다.
• 다양한 ROUGE 지표에서 일관된 향상이 관찰되어 유창성과 사실 기반 복귀 모두에서 견고한 향상이 있었다.