[논문 리뷰] Summary Level Training of Sentence Rewriting for Abstractive Summarization

Sanghwan Bae, Taeuk Kim외 2명|arXiv (Cornell University)|2019. 09. 19.

Topic Modeling참고 문헌 44인용 수 8

한 줄 요약

이 논문은 요약 수준의 ROUGE 점수를 직접 최적화하는 새로운 강화학습 프레임워크를 제안하며, BERT 기반 문장 추출과 보상 형상화를 통해 학습 목표와 평가 지표 간의 괴리 문제를 해결한다. 이 방법은 CNN/Daily Mail 및 NYT 데이터셋에서 최신 기준 성능을 달성하였으며, ROUGE-L 점수 향상과 DUC-2002에서의 더 나은 일반화 성능을 보였다.

ABSTRACT

As an attempt to combine extractive and abstractive summarization, Sentence Rewriting models adopt the strategy of extracting salient sentences from a document first and then paraphrasing the selected ones to generate a summary. However, the existing models in this framework mostly rely on sentence-level rewards or suboptimal labels, causing a mismatch between a training objective and evaluation metric. In this paper, we present a novel training signal that directly maximizes summary-level ROUGE scores through reinforcement learning. In addition, we incorporate BERT into our model, making good use of its ability on natural language understanding. In extensive experiments, we show that a combination of our proposed model and training procedure obtains new state-of-the-art performance on both CNN/Daily Mail and New York Times datasets. We also demonstrate that it generalizes better on DUC-2002 test set.

연구 동기 및 목표

• 요약 수준 평가 지표와 문장 수준 학습 보상 간의 괴리 문제를 해결하기 위해 개선된 추출 기반 요약 모델의 학습 목표를 조정한다.
• BERT의 표현 학습 능력을 활용하여 문장의 중요도 감지 성능을 향상시켜 문장 추출 성능을 개선한다.
• 강화학습을 통해 요약 수준의 ROUGE 점수를 직접 최적화함으로써 요약 품질과 유창성 향상을 도모한다.
• 더 나은 훈련 신호 일치를 통해 DUC-2002와 같은 도메인 외 데이터셋에 대한 모델 일반화 능력을 향상시킨다.
• 사전 학습된 언어 모델과 요약 지표의 글로벌 최적화를 조합한 효과를 입증한다.

제안 방법

• 두 단계 아키텍처를 도입한다: 문서에서 중요한 문장을 추출하는 BERT 기반 추출기와 이를 요약으로 재작성하는 개선기로 구성된다.
• 강화학습 보상 신호로 요약 수준의 ROUGE F1 점수를 사용하여 최종 평가 지표를 직접 최적화한다.
• 최적 정책 유지와 함께 보상 형상화를 적용하여 요약 수준 보상의 희소성 문제를 완화한다.
• 요약 수준 보상을 사용하여 정책 기반 강화학습 방법을 통해 추출기의 미세조정을 수행함으로써 전체 요약 파이프라인의 엔드 투 엔드 최적화를 가능하게 한다.
• 추출기에서 문장 인코딩에 BERT를 활용하여 자연어 이해 작업에서의 뛰어난 성능을 발휘한다.
• CNN/Daily Mail 및 NYT 데이터셋에서 강화학습을 수행하고, 도메인 내 및 도메인 외 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 문장 수준 보상 학습 대비 요약 수준 ROUGE 점수의 직접 최적화가 추상적 요약 성능 향상에 기여하는가?
• RQ2 문장 추출 모듈에 BERT를 통합함으로써 중요도 감지 및 종합 요약 품질 향상이 이루어지는가?
• RQ3 보상 형상화가 문장 선택을 위한 강화학습에서 요약 수준 보상의 희소성 문제를 효과적으로 완화할 수 있는가?
• RQ4 기존 최신 기준 모델 대비 제안된 방법이 DUC-2002와 같은 도메인 외 데이터셋에 더 잘 일반화되는가?
• RQ5 ROUGE-L 점수 향상 정도는 얼마나 되며, 이는 유창성과 일관성의 지표로 간주되는가?

주요 결과

• 제안된 모델은 CNN/Daily Mail 데이터셋에서 새로운 최신 기준 성능을 달성하였으며, ROUGE-L F1 점수는 43.38을 기록하여 BERTSUM 및 Two-Stage BERT를 포함한 기존 방법들을 초월하였다.
• 뉴욕타임즈(NYT50) 데이터셋에서 모델은 ROUGE-L F1 점수 43.38을 기록하였으며, ROUGE-1 점수를 기록한 Liu(2019)를 제외한 모든 추출 및 추상적 기준 모델을 능가하였다.
• 비-RL 기준 모델 대비 2포인트의 ROUGE 점수 향상을 보이며, 강화학습 훈련 절차의 효과성을 입증하였다.
• DUC-2002 테스트 세트에서 모델은 ROUGE-L F1 점수 40.14를 기록하였으며, 이는 기존 모델들을 크게 능가하며 강력한 일반화 능력과 견고성을 보였다.
• 아마존 메카니컬 터크를 통한 인간 평가 결과, Chen과 Bansal(2018) 및 Liu(2019) 대비 관련성에서 유의미한 향상(p<0.05)을 보였으며, 독해성 측면에선 유의미한 차이가 없었다.
• BERT와 요약 수준의 강화학습 훈련을 조합함으로써 성능 향상이 상당히 이루어졌으며, 특히 유창성 향상과 중복 감소 측면에서 뚜렷한 효과를 보였다.