[논문 리뷰] Searching for Effective Neural Extractive Summarization: What Works and What's Next

Ming Zhong, Pengfei Liu외 3명|arXiv (Cornell University)|2019. 07. 08.

Topic Modeling참고 문헌 36인용 수 20

한 줄 요약

이 논문은 모델 아키텍처, 이식 가능한 지식, 학습 스키마에 대한 광범위한 경험적 분석을 통해 신경 추출 요약을 조사한다. 비지도 사전 훈련(BERT)과 강화 학습을 활용하는 프레임워크를 제안하여 CNN/DailyMail에서 42.69 ROUGE-1의 새로운 최고 성능을 달성한다. 이는 문맥 기반 표현과 위치 인식 능력이 성능에 핵심적임을 시사한다.

ABSTRACT

The recent years have seen remarkable success in the use of deep neural networks on text summarization. However, there is no clear understanding of extit{why} they perform so well, or extit{how} they might be improved. In this paper, we seek to better understand how neural extractive summarization systems could benefit from different types of model architectures, transferable knowledge and learning schemas. Additionally, we find an effective way to improve current frameworks and achieve the state-of-the-art result on CNN/DailyMail by a large margin based on our observations and analyses. Hopefully, our work could provide more clues for future research on extractive summarization.

연구 동기 및 목표

• 다양한 신경 아키텍처(CNN, RNN, Transformer)가 추출 요약 성능에 미치는 영향을 이해하는 것.
• 이식 가능한 지식(GloVe, BERT, Newsroom)이 모델의 일반화 능력과 견고성 향상에 얼마나 효과적인지 평가하는 것.
• 학습 스키마(지도 학습 대비 강화 학습)가 모델 성능 향상에 기여하고 다른 구성 요소와 보완되는지 조사하는 것.
• 현재 최고 성능 모델의 성공 요인, 특히 CNN/DailyMail 벤치마크에서의 요인을 특정하는 것.
• 다양한 평가 시나리오에서 모델 행동을 경험적으로 분석함으로써未래 연구에 실질적인 통찰을 제공하는 것.

제안 방법

• LSTM, CNN, Transformer 등의 다양한 인코더-디코더 아키텍처와 순차적 및 비순차적 디코더를 포함한 종합적인 테스트베드를 구축.
• 비지도(BERT, GloVe) 및 지도 학습(Newsroom 사전 훈련) 방식의 다양한 사전 훈련 임베딩 통합.
• 보상 설계를 적용한 강화 학습(RL)과 지도 학습을 모두 적용하여 요약 생성 최적화.
• 다중 도메인 테스트, 문장 섞기, 반복성, 문장 길이, 위치 편향 측정 지표를 포함한 평가 프로토콜 설계.
• BERT를 두 가지 방식으로 사용: 문장 수준 인코딩과 평균 풀링을 통한 전체 문서 인코딩으로 문맥적 종속성 학습 평가.
• 성능에 미치는 위치 정보 및 이식 가능한 지식의 영향을 분리하기 위해 아블레이션 스터디 수행.

실험 결과

연구 질문

• RQ1 LSTM, Transformer 등의 다양한 신경 아키텍처가 추출 요약 성능에 어떻게 영향을 미치는가?
• RQ2 비지도(BERT)와 지도 학습(Newsroom) 중 어느 종류의 사전 훈련 지식이 추출 요약에 더 효과적인가?
• RQ3 강화 학습이 사전 훈련 모델과 강력한 아키텍처와 함께 통합될 경우 추가 성능 향상을 이끌 수 있는가?
• RQ4 문장의 위치를 모델링할 수 있는 능력이 CNN/DailyMail에서 성능에 어느 정도 기여하는가?
• RQ5 Transformer와 같은 더 견고한 아키텍처를 사용하면 아키텍처 과적합을 완화할 수 있는가?

주요 결과

• 순차적 디코더는 추출 요약에서 비순차적 디코더보다 일관되게 뛰어난 성능을 보였다.
• LSTM 기반 모델은 아키텍처 과적합에 더 취약한 반면, Transformer는 더 높은 견고성을 보였다.
• 위치 정보는 필수적이다: 이를 제거하면 ROUGE-1 점수는 40.08에서 크게 낮아지며 문장 순서 의존성이 높다는 것을 시사한다.
• 비지도 사전 훈련(BERT)은 도메인 이질성 문제로 인해 지도 학습(Newsroom)보다 더 큰 성능 향상을 이끌어내었다.
• 가장 뛰어난 성능을 보인 모델인 LSTM-Pointer + BERT + RL은 42.69 ROUGE-1을 달성하여 이전 최고 성능(41.85 ROUGE-1)보다 뚜렷한 향상을 보였다.
• 전체 문서 인코딩을 통한 BERT의 문맥 기반 표현은 문장 수준 임베딩보다 더 효과적이며, 문장 간 문맥의 중요성을 강조한다.