[논문 리뷰] MeanSum: A Neural Model for Unsupervised Multi-document Abstractive Summarization

Eric Chu, Peter J. Liu|arXiv (Cornell University)|2018. 10. 12.

Topic Modeling참고 문헌 35인용 수 97

한 줄 요약

MeanSum은 페어링된 요약 없이도 리뷰의 다문서 요약을 위한 엔드투엔드 비지도 추상적 모델을 제시하며, 자동인코더와 평균 잠재 표현을 사용하여 표준적이고 유창한 요약을 생성합니다.

ABSTRACT

Abstractive summarization has been studied using neural sequence transduction methods with datasets of large, paired document-summary examples. However, such datasets are rare and the models trained from them do not generalize to other domains. Recently, some progress has been made in learning sequence-to-sequence mappings with only unpaired examples. In our work, we consider the setting where there are only documents (product or business reviews) with no summaries provided, and propose an end-to-end, neural model architecture to perform unsupervised abstractive summarization. Our proposed model consists of an auto-encoder where the mean of the representations of the input reviews decodes to a reasonable summary-review while not relying on any review-specific features. We consider variants of the proposed architecture and perform an ablation study to show the importance of specific components. We show through automated metrics and human evaluation that the generated summaries are highly abstractive, fluent, relevant, and representative of the average sentiment of the input reviews. Finally, we collect a reference evaluation dataset and show that our model outperforms a strong extractive baseline.

연구 동기 및 목표

• 다수의 문서가 있지만 이용 가능한 요약이 없는 설정에서 추상적 요약을 촉진한다.
• 요약 감독 학습을 필요로 하지 않는 엔드투엔드 신경망 모델을 개발한다.
• 생성된 요약이 리뷰의 언어 영역에 속하고 평균 감정을 반영하도록 한다.
• 입력 문서 수와 도메인(Yelp 및 Amazon) 간의 강건성을 입증한다.
• 참조 요약 없이 모델 설계를 이끄는 프록시 자동화 지표와 인간 평가를 제공한다.

제안 방법

• auto-encoder가 각 입력 리뷰 x_j에 대해 표현 z_j를 학습하고 decoder를 통해 x_j를 재구성하여 표현이 리뷰 언어에 grounded 되도록 한다.
• 요약 모듈이 k개의 리뷰에 걸쳐 잠재 코드를 평균화하여 z를 형성하고, 같은 디코더가 이를 사용해 요약 s를 생성한다.
• 유사성 손실(코사인 유사도 평균)을 계산하여 인코딩된 리뷰 h_j와 인코딩된 요약 h_s 간의 거리를 줄이고 요약을 입력 내용에 가까이 끌어당긴다.
• 요약은 이산 단어 샘플링에서의 미분 가능 학습을 가능하게 하고 노출 편향을 피하기 위해 Straight Through Gumbel-Softmax를 사용해 생성된다.
• 최종 목적 함수는 재구성 손실과 유사성 손실의 합으로 L_model = L_rec + L_sim 이며, 인코더/디코더 가중치는 묶이고 데이터셋 리뷰에서 사전 학습된 언어 모델에서 초기화된다.

실험 결과

연구 질문

• RQ1 비지도적이고 엔드투엔드 신경망 모델이 요약 감독 없이도 여러 리뷰에 대한 추상적 요약을 생성할 수 있는가?
• RQ2 인코더/디코더를 묶고 평균 잠재 표현을 사용하는 것이 요약을 리뷰 언어로 효과적으로 제약하고 입력과 의미적으로 연결되도록 하는가?
• RQ3 입력 문서 수(k) 및 도메인(Yelp, Amazon)에 따라 모델의 성능은 어떻게 달라지며 베이스라인과 비교되는가?
• RQ4 참조 요약이 없는 상황에서 프록시 자동 지표와 인간 평가가 추상성, 유창성, 감성 충실도를 신뢰할 만한 지표가 되는가?

주요 결과

• MeanSum은 경쟁력 있는 ROUGE 점수를 달성하고 참조 요약 없이도 Yelp 다문서 요약에서 강력한 추출 baseline을 능가한다.
• 추상적 모델이 베이스라인에 비해 감성 정확도를 향상시켜 입력의 전반적 감정을 충실하게 반영하는 것을 보여준다.
• 모델은 입력에서의 복사 비율이 낮은 높은 추상성을 가진 요약을 생성한다(ngrams의 높은 신생성성).
• 프록시 지표(감성 정확도, 단어 중복)가 ROUGE와 상관관계가 있으며 참조 요약이 없는 상황에서 모델 개발을 가이드한다.
• 인간 평가에서 MeanSum의 요약은 유창하고 관련성이 있으며 입력 리뷰의 감정을 대표한다.