[논문 리뷰] Unsupervised Neural Multi-document Abstractive Summarization

Eric Chu, Peter J. Liu|arXiv (Cornell University)|2018. 10. 12.

Topic Modeling참고 문헌 11인용 수 19

한 줄 요약

이 논문은 애초에 애너테이션된 요약문이 전혀 필요로 하지 않고, 쌍이 맞춰지지 않은 리뷰들로부터 고품질의 요약문을 생성하는 비지도 학습 신경망 개선 요약 모델을 제안한다. 공유 표현 복원을 갖춘 시퀀스 오토인코더를 사용하여, 모델은 입력 리뷰로부터 직접 유창하고 개선된, 감성을 반영하는 요약문을 생성하는 데 학습한다. 자동 평가 및 인간 평가 모두에서 추출 기반 기준 모델을 능가한다.

ABSTRACT

Abstractive summarization has been studied using neural sequence transduction methods with datasets of large, paired document-summary examples. However, such datasets are rare and the models trained from them do not generalize to other domains. Recently, some progress has been made in learning sequence-to-sequence mappings with only unpaired examples. In our work, we consider the setting where there are only documents (product or business reviews) with no summaries provided, and propose an end-to-end, neural model architecture to perform unsupervised abstractive summarization. Our proposed model consists of an auto-encoder where the mean of the representations of the input reviews decodes to a reasonable summary-review while not relying on any review-specific features. We consider variants of the proposed architecture and perform an ablation study to show the importance of specific components. We show through automated metrics and human evaluation that the generated summaries are highly abstractive, fluent, relevant, and representative of the average sentiment of the input reviews. Finally, we collect a reference evaluation dataset and show that our model outperforms a strong extractive baseline.

연구 동기 및 목표

• 쌍이 맞춰진 문서-요약 애너테이션 없이도 작동하는 종단간 신경망 요약 모델을 개발하는 것.
• 도메인 특화 레이블 데이터에 의존하지 않고도 다양한 도메인으로 일반화할 수 있도록, 쌍이 맞춰지지 않은 리뷰만으로 훈련하는 것.
• 유창하고, 개선된, 관련성 있고, 입력 리뷰의 평균 감성을 대표하는 요약문을 생성하는 것.
• 새로 수집된 기준 데이터셋을 바탕으로 인간 평가와 자동 평가 지표를 모두 사용해 모델 성능을 평가하는 것.

제안 방법

• 입력 리뷰가 공유 표현으로 인코딩되는 시퀀스 오토인코더 아키텍처를 사용한다.
• 인코딩된 표현의 평균을 시퀀스 투 시퀀스 디코더를 사용해 요약문으로 복원한다.
• 복원된 요약문이 입력 리뷰 분포와 일치하도록 재구성 손실을 사용해 엔드 투 엔드로 훈련한다.
• 모델은 리뷰 전용 특징을 사용하지 않으며, 요약문 생성에 공유 표현에만 의존한다.
• 다양한 어텐션 메커니즘과 정규화 전략을 포함한 아키텍처의 여러 변형을 탐색한다.
• 각 구성 요소가 최종 요약 품질에 기여하는 정도를 평가하기 위해 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 애초에 애너테이션된 요약문이 없는 비지도 신경망 모델이 쌍이 맞춰지지 않은 리뷰들로부터 개선된 요약문을 생성할 수 있는가?
• RQ2 오토인코더 기반 표현 학습이 요약 목적을 위해 핵심적인 내용과 감성을 효과적으로 포착하는 데 얼마나 효과적인가?
• RQ3 어텐션과 정규화와 같은 아키텍처 구성 요소가 요약 품질 향상에 어느 정도 기여하는가?
• RQ4 유창성, 관련성, 개선된 성격 측면에서 생성된 요약문은 추출 기반 기준 모델과 어떻게 비교되는가?

주요 결과

• 제안된 모델는 인간 평가를 통해 매우 개선된, 유창하고 입력 리뷰와 관련성이 높은 요약문을 생성한다.
• 모델는 입력 리뷰에 표현된 평균 감성을 효과적으로 반영하는 요약문을 생성한다.
• 자동 평가 지표와 인간 평가 모두에서 강력한 추출 기반 기준 모델을 능가한다.
• 추론 분석 결과, 공유 표현과 오토인코딩 목적 함수와 같은 핵심 구성 요소가 성능 향상에 필수적이라는 것이 확인된다.
• 비지도 학습 방식과 레이블 데이터 의존성 부재로 인해 다양한 도메인으로 잘 일반화된다.