[논문 리뷰] A Deep Reinforced Model for Abstractive Summarization

Romain Paulus, Caiming Xiong외 1명|arXiv (Cornell University)|2017. 05. 11.

Topic Modeling참고 문헌 39인용 수 1,273

한 줄 요약

본 논문은 입력 및 생성 출력에 대한 내부-attention(입력과 생성된 출력 위의)과 감독 학습 크로스 엔트로피를 강화 학습과 결합한 하이브리드 학습 objective를 통해 CNN/Daily Mail에서 ROUGE를 최첨단으로 달성하고 NYT에서 강력한 성과를 보이며 가독성을 향상시킨 신경 추상 요약 모델을 제시한다.

ABSTRACT

Attentional, RNN-based encoder-decoder models for abstractive summarization have achieved good performance on short input and output sequences. For longer documents and summaries however these models often include repetitive and incoherent phrases. We introduce a neural network model with a novel intra-attention that attends over the input and continuously generated output separately, and a new training method that combines standard supervised word prediction and reinforcement learning (RL). Models trained only with supervised learning often exhibit "exposure bias" - they assume ground truth is provided at each step during training. However, when standard word prediction is combined with the global sequence prediction training of RL the resulting summaries become more readable. We evaluate this model on the CNN/Daily Mail and New York Times datasets. Our model obtains a 41.16 ROUGE-1 score on the CNN/Daily Mail dataset, an improvement over previous state-of-the-art models. Human evaluation also shows that our model produces higher quality summaries.

연구 동기 및 목표

• 장문서 추상 요약의 반복적 구절 문제에 대처한다.
• 입력과 생성된 출력을 모두 추적하는 intra-attentive 인코더-디코더 아키텍처를 개발하여 반복을 줄인다.
• 감독 학습과 강화 학습을 혼합 objective로 결합하여 노출 편향을 완화한다.
• 단순 최대우도 학습 이상의 가독성과 일관성을 가진 장문 요약을 향상시킨다.

제안 방법

• 입력 시퀀스에 대한 intra-temporal 주의(attention)를 도입하여 디코딩 단계 간 초점을 다변화한다.
• 이전으로 생성된 토큰을 추적하고 반복을 줄이기 위해 intra-decoder attention을 추가한다.
• 소스에서 희귀하거나 보지 못한 단어를 복사하기 위해 포인터-제너레이터 메커니즘을 도입한다.
• 출력 생성을 향상시키기 위해 디코더와 임베딩 가중치를 공유한다.
• 루즈(Rouge)를 최적화하면서 가독성을 유지하기 위해 self-critical 강화 학습 objective(및 혼합 ML/RL objective)를 적용한다.
• 빔 탐색에서 반복되는 트라이그램 출력 방지를 위한 테스트 시점 제약을 부과한다.

실험 결과

연구 질문

• RQ1 intra-temporal 입력 주의(attention)과 intra-decoder 주의가 긴 추상 요약의 반복을 줄일 수 있는가?
• RQ2 감독 학습과 강화 학습을 결합한 혼합 objective가 ROUGE 점수와 가독성을 모두 개선하는가?
• RQ3 이 모델이 CNN/Daily Mail 및 NYT 추상 요약 과제에서 기존 연구와 비교해 어떤 성능을 보이는가?
• RQ4 이 기술들이 인간 평가에서 가독성 및 관련성에 미치는 영향은 어떻게 되는가?

주요 결과

• 모델은 CNN/Daily Mail에서 41.16 ROUGE-1를 달성하여 이전의 최첨단 기준치를 능가한다.
• 강화 학습(RL)은 ROUGE 점수를 향상시키지만 가독성을 감소시킬 수 있으며, ML+RL 혼합 objective은 더 높은 가독성과 경쟁력 있는 ROUGE를 제공한다.
• intra-decoder 주의는 긴 ground-truth 요약에 대해 CNN/Daily Mail에서 ROUGE-1을 개선시키지만 NYT에서는 그렇지 않아 출력 길이에 따라 이점이 달라짐을 시사한다.
• NYT에서 ML+RL과 intra-attention 설정은 강력한 ROUGE 수치를 달성하며 여러 추출적 baselines 및 기존 추상 모델보다 우수한 편이다.
• 인간 평가에 따르면 RL 단독은 가독성이 낮은 반면 ML+RL은 가독성과 관련성의 균형에서 최고의 결과를 보인다.
• intra-attention과 혼합 학습의 조합은 장문 시퀀스 요약에 특히 유익하며 다른 장문 시퀀스 생성 작업에도 확장될 수 있다.