[논문 리뷰] Learning to Extract Coherent Summary via Deep Reinforcement Learning

Yuxiang Wu, Baotian Hu|arXiv (Cornell University)|2018. 04. 19.

Topic Modeling참고 문헌 32인용 수 30

한 줄 요약

이 논문은 깊이 있는 강화 학습 프레임워크에 학습 가능한 신경망 공명 모델을 통합하여 요약의 일관성을 향상시키는 강화된 신경 추출 요약(RNES) 모델을 제안한다. ROUGE 점수와 문장 간 공명을 모두 보상으로 사용함으로써, RNES는 CNN/Daily Mail 데이터셋에서 기존의 기준 모델들을 능가하며, 자동 평가 및 인간 평가를 통해 검증된 바와 같이 더 일관되고 읽기 쉽게, 더 정보적인 요약을 생성한다.

ABSTRACT

Coherence plays a critical role in producing a high-quality summary from a document. In recent years, neural extractive summarization is becoming increasingly attractive. However, most of them ignore the coherence of summaries when extracting sentences. As an effort towards extracting coherent summaries, we propose a neural coherence model to capture the cross-sentence semantic and syntactic coherence patterns. The proposed neural coherence model obviates the need for feature engineering and can be trained in an end-to-end fashion using unlabeled data. Empirical results show that the proposed neural coherence model can efficiently capture the cross-sentence coherence patterns. Using the combined output of the neural coherence model and ROUGE package as the reward, we design a reinforcement learning method to train a proposed neural extractive summarizer which is named Reinforced Neural Extractive Summarization (RNES) model. The RNES model learns to optimize coherence and informative importance of the summary simultaneously. Experimental results show that the proposed RNES outperforms existing baselines and achieves state-of-the-art performance in term of ROUGE on CNN/Daily Mail dataset. The qualitative evaluation indicates that summaries produced by RNES are more coherent and readable.

연구 동기 및 목표

• 신경 추출 요약 모델에서 자주 발생하는 의미적 단절된 요약 문제를 해결하기 위해.
• 수동으로 설계된 특징이나 외부 NER 시스템에 의존하지 않고도 문장 간 의미적·구문적 일관성을 포착할 수 있는 엔드 투 엔드로 학습 가능한 신경망 공명 모델을 개발하기 위해.
• 문장의 정보성(ROUGE를 통해)과 문장 간 일관성에 동시에 최적화하는 강화 학습 프레임워크를 설계하기 위해.
• 공명을 보상으로 포함시키는 것이 ROUGE 기반 최적화만으로는 달성할 수 없는 요약 품질 향상에 기여하는지 평가하기 위해.

제안 방법

• 다중 층의 컨볼루션과 맥스 풀링을 활용하여 분산 문장 표현을 기반으로 두 문장 간의 공명을 추정하는 새로운 신경망 공명 모델을 제안한다.
• 수동으로 특징을 설계하거나 외부 명명된 실체 인식 시스템이 필요 없도록, 비라벨 데이터에서 엔드 투 엔드 방식으로 신경망 공명 모델을 학습시킨다.
• 강화된 신경 추출 요약(RNES) 모델은 정책 기반 강화 학습(REINFORCE)을 사용하여 요약을 위한 문장을 선택한다.
• 보상 함수는 문장 쌍 간의 공명에 대한 즉각적 보상(신경망 공명 모델에서 제공)과 총 정보성 및 유창성에 대한 최종 ROUGE 점수를 조합한다.
• 학습 과정에서 RNES 에이전트는 누적 보상을 최대화하도록 문장 시퀀스를 추출하도록 학습되며, 이는 일관성 있고 정보적인 요약을 선호하도록 유도한다.
• RNES 모델은 ROUGE 기반 최종 보상과 공명 기반 중간 보상의 조합을 사용하여 CNN/Daily Mail 데이터셋에서 미세조정된다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 특징이나 NER 시스템에 의존하지 않고도 신경망 공명 모델이 문장 간 의미적·구문적 일관성을 효과적으로 포착할 수 있는가?
• RQ2 학습된 공명 신호를 강화 학습 목표에 통합함으로써 추출 요약의 일관성이 향상되는가?
• RQ3 ROUGE 점수와 인간 평가 기반 품질 지표에서 RNES 모델은 강력한 기준 모델들과 비교해 어떻게 성과를 내는가?
• RQ4 공명과 정보성 보상 모두를 사용해 훈련한 모델은 ROUGE로만 훈련한 모델보다 더 읽기 쉽게, 더 일관성 있는 요약을 생성할 수 있는가?
• RQ5 공명 보상의 포함이 인간 평가로 측정한 정보성 향상에 기여하는가?

주요 결과

• RNES 모델은 CNN/Daily Mail 데이터셋에서 최신 기준 성능을 달성하여, ROUGE-1, ROUGE-2, ROUGE-L 지표에서 기존 기준 모델들을 능가한다.
• 인간 평가 결과, 공명 보상이 포함된 RNES가 공명 보상 없이 생성한 요약보다 유의미하게 더 일관성 있는 것으로 평가되었으며(평균 순위 1.092), p값 < 0.05였다.
• 공명 보상이 포함된 RNES 모델은 정보성(1.125 대비 1.183)과 종합 품질(1.209 대비 1.492) 모두에서 기준 모델을 능가하여, ROUGE만으로 최적화하는 것 이상의 요약 품질 향상이 공명이 기여했음을 시사한다.
• 정성적 분석 결과, 공명 보상이 포함된 RNES는 모호한 대명사 사용을 피하고 논리적인 흐름을 유지하는 요약을 생성함을 확인할 수 있었으며, 예를 들어 주어를 참조하기 전에 먼저 도입하는 방식을 따르는 경향이 있었다.
• 신경망 공명 모델은 적절한 문장 쌍 간의 공명을 효과적으로 식별하였으며, 이 신호가 RNES 에이전트가 더 논리적으로 연결된 요약을 추출하도록 효과적으로 이끌었다.
• RNES 모델의 공명 유무에 따른 ROUGE 점수의 95% 신뢰구간이 겹치므로, ROUGE 점수의 차이는 통계적으로 유의미하지 않지만, 인간 평가 결과는 공명이 요약의 일관성에 명확한 정성적 우수성을 제공함을 확인한다.