[논문 리뷰] Towards a Neural Network Approach to Abstractive Multi-Document Summarization

Jianmin Zhang, Jiwei Tan외 1명|arXiv (Cornell University)|2018. 04. 24.

Topic Modeling참고 문헌 27인용 수 27

한 줄 요약

이 논문은 소량의 MDS 데이터를 사용해 미리 훈련된 신경 추상적 요약 모델을 다중문서 요약(MDS)에 적용하기 위한 새로운 전이 학습 접근법을 제안한다. 단일문서 추상적 모델에 문서세트 인코더와 세 가지 적응 전략을 추가함으로써, DUC 벤치마크에서 SOTA 성능을 달성하여 ROUGE 및 인간 평가 지표에서 여러 신경 기반 기준 모델을 능가한다.

ABSTRACT

Till now, neural abstractive summarization methods have achieved great success for single document summarization (SDS). However, due to the lack of large scale multi-document summaries, such methods can be hardly applied to multi-document summarization (MDS). In this paper, we investigate neural abstractive methods for MDS by adapting a state-of-the-art neural abstractive summarization model for SDS. We propose an approach to extend the neural abstractive model trained on large scale SDS data to the MDS task. Our approach only makes use of a small number of multi-document summaries for fine tuning. Experimental results on two benchmark DUC datasets demonstrate that our approach can outperform a variety of baseline neural models.

연구 동기 및 목표

• 대규모 다중문서 요약 데이터의 부족으로 인해 신경 추상적 모델의 엔드 투 엔드 훈련이 어려운 문제를 해결하기 위해.
• 도메인 및 데이터 분포의 변화가 존재하는 상황에서도 사전 훈련된 단일문서 추상적 모델이 다중문서 요약 작업에 효과적으로 적응할 수 있는지 탐구하기 위해.
• 소수의 MDS 애너테이션을 사용한 미세조정 전략과 문서세트 인코더를 통합함으로써 전이 가능성 향상을 위한 프레임워크를 제안하기 위해.
• 표준 DUC 벤치마크 데이터셋에서 제안된 방법의 효과성을 평가하고, 여러 신경 추상적 및 추출적 기준 모델과의 비교를 수행하기 위해.

제안 방법

• 다양한 입력 문서를 통합된 맥락 표현으로 압축하는 문서세트 인코더를 도입하여, 단일문서 추상적 요약 모델을 다중문서 환경에 적응시키기 위해.
• 세 가지 적응 전략을 도입한다: (1) 소규모 MDS 데이터셋으로 전체 모델을 미세조정하기, (2) 인코더를 고정하고 디코더만 미세조정하기, (3) 요약 생성 과정에서 다중문서 콘텐츠와의 보다 나은 정렬을 위해 계층적 어텐션 메커니즘 사용하기.
• 각 문서세트의 문서를 별도로 처리한 후 그 표현을 융합하여 디코더에 제공하는 계층적 인코더-디코더 아키텍처를 활용하기 위해.
• 요약 생성 과정에서 다수의 문서에 걸쳐 관련 문장을 동적으로 집중할 수 있도록 어텐션 메커니즘을 활용하기 위해.
• 대규모 단일문서 요약 사전 훈련 설정에서의 가중치를 초기 가중치로 사용하여 전이 학습을 활용하기 위해.
• 소규모 MDS 미세조정 데이터에서 과적합을 방지하기 위해 검증 ROUGE 점수 기반 조기 정지 및 모델 선택을 적용하기 위해.

실험 결과

연구 질문

• RQ1 데이터 부족 상황에서도 단일문서 요약을 위해 사전 훈련된 신경 추상적 요약 모델이 다중문서 요약 작업으로 효과적으로 전이될 수 있는가?
• RQ2 단일문서에서 다중문서 요약으로의 전이 성능을 향상시키기 위해 필요한 아키텍처 및 훈련 수정은 무엇인가?
• RQ3 소수의 다중문서 요약을 사용한 미세조정은 사전 훈련된 추상적 모델의 성능 향상에 얼마나 효과적인가?
• RQ4 문서세트 인코더는 다중문서 간 통일성 및 정보 융합을 모델링하는 데 어떤 역할을 하는가?
• RQ5 자동 평가 및 인간 평가 지표 측면에서 제안된 방법은 추출적 및 신경 추상적 기준 모델과 비교해 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 DUC 2002 테스트 세트에서 ROUGE-1 점수 34.0과 ROUGE-L 점수 11.4를 기록하여 모든 기준 모델을 능가했다.
• DUC 2004 데이터셋에서는 ROUGE-1 점수 36.7과 ROUGE-L 점수 12.4를 기록하여 기준 모델들보다 일관되게 뛰어난 성능을 보였다.
• 인간 평가 결과, 모델은 통일성 3.76, 중복 제거성 3.92, 난이도 4.08을 기록하여 다른 추상적 방법보다 유의미하게 높은 점수를 받았다.
• 제거 실험을 통해 문서세트 인코더와 MDS 데이터를 활용한 미세조정이 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 모델는 유창하고 통일되며 중복이 적은 요약을 생성하여 다수의 소스 문서에서 핵심 정보를 효과적으로 반영했다.
• 사례 연구를 통해 모델는 간결하고 정보가 풍부하며 잘 구성된 요약을 생성할 수 있었으며, 입력 문서세트의 핵심 콘텐츠를 잘 반영했다.