[논문 리뷰] Make Lead Bias in Your Favor: A Simple and Effective Method for News Summarization

Chenguang Zhu, Ziyi Yang외 3명|arXiv (Cornell University)|2019. 09. 25.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 뉴스 기사의 리드 편향을 활용하여 개괄적 요약을 위한 사전학습 목표로 제안한다: 트랜스포머 모델을 훈련시켜 기사의 나머지 부분을 바탕으로 리드 문장을 예측하도록 한다. 철저한 데이터 필터링을 통해 모델은 강력한 제로샷 성능를 달성하며, 미세조정 후 강력한 베이스라인을 능가한다. 인간 평가를 통해 그 효과성이 확인되었다.

ABSTRACT

Lead bias is a common phenomenon in news summarization, where early parts of an article often contain the most salient information. While many algorithms exploit this fact in summary generation, it has a detrimental effect on teaching the model to discriminate and extract important information. We propose that the lead bias can be leveraged in a simple and effective way in our favor to pretrain abstractive news summarization models on large-scale unlabeled corpus: predicting the leading sentences using the rest of an article. Via careful data cleaning and filtering, our transformer-based pretrained model without any finetuning achieves remarkable results over various news summarization tasks. With further finetuning, our model outperforms many competitive baseline models. Human evaluations further show the effectiveness of our method.

연구 동기 및 목표

• 뉴스 기사에 내재된 리드 편향을 활용하여 약한 지도 학습 문제를 해결하기 위해.
• 사전학습 중 레이블이 부여된 요약 데이터가 필요 없이 모델 성능을 향상시키는 자기지도 학습 방법을 개발하기 위해.
• 레이블가 없는 뉴스 코퍼스만을 사용하여 뉴스 요약 작업에서 강력한 제로샷 성능를 달성하기 위해.
• 리드 문장 예측이 약간의 요약 모델 사전학습 목표로 효과적일 수 있음을 입증하기 위해.
• 하류 요약 작업에서 자동 평가 및 인간 평가를 통해 방법의 유효성을 검증하기 위해.

제안 방법

• 기사의 나머지 부분을 컨텍스트로 사용하여 트랜스포머 기반 모델을 훈련시켜 리드 문장을 예측하도록 한다.
• 대규모의 레이블이 없는 뉴스 코퍼스를 사용하여 뉴스 기사의 리드 예측 목표로 모델을 훈련시키며, 저널리즘 글쓰기에서 자연스럽게 발생하는 리드 편향을 활용한다.
• 고품질의 훈련 예제를 확보하고 사전학습 데이터의 노이즈를 줄이기 위해 철저한 데이터 정제 및 필터링을 적용한다.
• 추가적인 미세조정 없이도 제로샷 평가를 위해 표준 트랜스포머 목표를 사용하여 모델을 종합적으로 훈련시킨다.
• 표준 지도 미세조정 프로토콜을 사용하여 하류 요약 작업에서 사전학습된 모델을 미세조정한다.
• 모델의 어텐션 메커니즘과 디코더의 자동회귀 생성을 활용하여 입력 기사에서 약간의 요약을 생성한다.

실험 결과

연구 질문

• RQ1 뉴스 기사의 리드 편향이 약간의 요약을 위한 자기지도 사전학습 목표로 효과적으로 활용될 수 있는가?
• RQ2 리드 문장 예측으로 사전학습된 모델은 지도 학습 기반 베이스라인과 비교해 제로샷 환경에서 어떻게 성능을 내는가?
• RQ3 리드 예측 사전학습 모델을 미세조정하면 표준 뉴스 요약 벤치마크에서 성능 향상이 이루어지는가?
• RQ4 자동 평가 및 인간 평가 모두에서 모델의 성능는 강력한 경쟁 모델과 비교해 어떻게 되는가?

주요 결과

• 모델을 추가적인 미세조정 없이도 뉴스 요약 작업에서 강력한 제로샷 성능를 달성하며, 리드 예측 목표의 효과성을 입증한다.
• 미세조정 후, 모델은 표준 뉴스 요약 벤치마크에서 여러 경쟁 베이스라인 모델을 능가한다.
• 인간 평가를 통해 모델이 생성한 요약은 품질이 높으며, 강력한 베이스라인과 비교해도 열등하지 않거나 그 이상이다.
• 사전학습 단계에서 레이블이 부여된 요약이 필요 없이 뉴스 기사의 자연스러운 리드 편향을 효과적으로 활용하여 모델을 사전학습한다.
• 이 방법은 단순하고 확장 가능하며 효과적이며, 최소한의 아키텍처 수정으로 최신 기술 수준의 성능를 달성한다.