[논문 리뷰] Abstractive and Extractive Text Summarization using Document Context Vector and Recurrent Neural Networks

Chandra Khatri, Gyanit Singh외 1명|arXiv (Cornell University)|2018. 07. 20.

Topic Modeling참고 문헌 27인용 수 34

한 줄 요약

이 논문은 RNN 기반의 시퀀스 투 시퀀스 모델을 사용하여 개선된 개괄적 요약 및 추출적 요약을 위한 새로운 문서 맥락 벡터 접근법을 제안한다. 사용자 행동 및 판매자 데이터로부터 유도된 맥락 정보를 인코더의 첫 번째 타임스텝에 주입함으로써, 더 문서 중심적이고 인간이 선호하는 요약을 생성하며, 특히 대규모 준감독적 근사 요약을 사용하여 훈련할 경우 이베이 제품 설명에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sequence to sequence (Seq2Seq) learning has recently been used for abstractive and extractive summarization. In current study, Seq2Seq models have been used for eBay product description summarization. We propose a novel Document-Context based Seq2Seq models using RNNs for abstractive and extractive summarizations. Intuitively, this is similar to humans reading the title, abstract or any other contextual information before reading the document. This gives humans a high-level idea of what the document is about. We use this idea and propose that Seq2Seq models should be started with contextual information at the first time-step of the input to obtain better summaries. In this manner, the output summaries are more document centric, than being generic, overcoming one of the major hurdles of using generative models. We generate document-context from user-behavior and seller provided information. We train and evaluate our models on human-extracted-golden-summaries. The document-contextual Seq2Seq models outperform standard Seq2Seq models. Moreover, generating human extracted summaries is prohibitively expensive to scale, we therefore propose a semi-supervised technique for extracting approximate summaries and using it for training Seq2Seq models at scale. Semi-supervised models are evaluated against human extracted summaries and are found to be of similar efficacy. We provide side by side comparison for abstractive and extractive summarizers (contextual and non-contextual) on same evaluation dataset. Overall, we provide methodologies to use and evaluate the proposed techniques for large document summarization. Furthermore, we found these techniques to be highly effective, which is not the case with existing techniques.

연구 동기 및 목표

• RNN 기반의 시퀀스 투 시퀀스 모델에 문서 맥락을 통합하여 개괄적 및 추출적 텍스트 요약을 향상시키는 것.
• 인간 애너테이션 요약의 확장성 문제를 해결하기 위해 대규모로 근사 요약을 자동 생성하는 준감독 방법을 제안하는 것.
• 맥락 기반 RNN 모델이 추출적 및 개괄적 요약 작업 모두에서 비맥락 기반 기준 모델보다 뛰어나다는 것을 입증하는 것.
• 황금 표준 인간 애너테이션 평가에서 대규모 준감독 훈련 데이터가 모델 성능 향상에 기여하는지 검증하는 것.
• 맥락 기반 RNN 모델이 일반적인 생성 모델보다 더 문서 중심적이고 인간이 선호하는 요약을 생성한다는 것을 보여주는 것.

제안 방법

• 모델은 사용자 행동 및 판매자 제공 메타데이터에서 유도된 문서 맥락 벡터를 사용하여 인코더 RNN의 은닉 상태를 첫 번째 타임스텝에서 초기화한다.
• 문서 맥락 벡터는 보조 정보로부터 의미적 및 주제적 신호를 포괄하는 공동 표현 모델을 통해 학습된다.
• 준감독 훈련을 위해 근사 요약은 사전에 훈련된 RNN 모델의 문장 가능성 점수 기반 약한 감독 방법을 사용하여 자동으로 추출된다.
• 추출적 모델은 자동 음성 인식에서 영감을 얻은 재순서 정렬 전략을 사용하며, 후보 문장을 RNN 언어 모델 하에서 가능성에 따라 순위를 매긴다.
• 개괄적 및 추출적 모델은 어텐션 메커니즘을 사용한 시퀀스 투 시퀀스 학습으로 훈련되며, 맥락 벡터는 인코더의 첫 번째 타임스텝에 주입된다.
• 평가에서는 인간 애너테이션 요약의 보류된 세트를 사용하며, ROUGE, BLEU, NDCG, MAP 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 인코더의 첫 번째 타임스텝에 문서 맥락을 주입함으로써 생성된 요약의 품질과 관련성 향상이 가능한가?
• RQ2 대규모 준감독적 근사 요약을 사용하여 훈련하면 더 작은 인간 애너테이션 데이터셋을 사용한 훈련보다 성능이 뛰어나게 되는가?
• RQ3 맥락 기반 RNN 모델은 추출적 및 개괄적 요약 작업에서 비맥락 기반 RNN 모델보다 어떻게 비교되는가?
• RQ4 개괄적 RNN 모델은 추출적 요약에 효과적으로 적응되어 전용 추출적 모델보다 성능이 뛰어나게 되는가?
• RQ5 대규모 준감독 데이터에서의 성능 향상이 근사 요약의 노이즈로 인한 영향을 상쇄할 수 있는가?

주요 결과

• 추출적 맥락 기반 RNN(이하 EC-RNN)은 인간 평가한 5,000개 테스트 세트에서 정확도 99.41%와 F-score 99.54%를 기록하여 비맥락 기반 모델을 능가했다.
• 개괄적 맥락 기반 RNN(이하 AC-RNN)은 준감독 훈련에서 ROUGE-L F1 점수 0.26과 BLEU 점수 0.021을 기록하여 대규모 데이터에서 뛰어난 성능을 보였다.
• EC-RNN는 NDCG@1 0.655와 MAP@3 0.167를 기록하여 추출적 요약의 랭킹 품질이 뛰어나다는 것을 보여주었다.
• 알고리즘적으로 레이블링된 10만 개의 근사 요약을 사용한 준감독 모델은 인간 애너테이션 요약 5,000개를 사용한 감독 모델과 동등하거나 이를 초월하는 성능을 기록했다.
• 모든 지표에서 맥락 기반 RNN 모델은 비맥락 기반 RNN 모델보다 뚜렷이 뛰어나며, 문서 맥락이 요약의 관련성 향상에 기여한다는 점을 입증했다.
• 대규모 데이터와 맥락 주입을 통한 개괄적 모델(AC-RNN)은 대규모 데이터에서 성능 향상이 이루어지며, ROUGE-L F1 점수 0.23을 기록했다.