[논문 리뷰] Leveraging Graph to Improve Abstractive Multi-Document Summarization

Wei Li, Xinyan Xiao외 4명|arXiv (Cornell University)|2020. 05. 20.

Topic Modeling참고 문헌 57인용 수 11

한 줄 요약

이 논문은 인코딩 및 디코딩 단계에서 교차 문서 관계 모델링을 향상시키기 위해 유사도, 주제, 논리적 관계 그래프와 같은 명시적 그래프 표현을 활용하는 신경망 추상적 다중문서 요약 모델인 GraphSum을 제안한다. 그래프 기반 주의 메커니즘과 계층적 그래프 주의 메커니즘을 통합함으로써, WikiSum과 MultiNews에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ROUGE 점수와 인간 평가에서 특히 긴 입력에 대해 뚜렷한 향상을 보였다.

ABSTRACT

Graphs that capture relations between textual units have great benefits for detecting salient information from multiple documents and generating overall coherent summaries. In this paper, we develop a neural abstractive multi-document summarization (MDS) model which can leverage well-known graph representations of documents such as similarity graph and discourse graph, to more effectively process multiple input documents and produce abstractive summaries. Our model utilizes graphs to encode documents in order to capture cross-document relations, which is crucial to summarizing long documents. Our model can also take advantage of graphs to guide the summary generation process, which is beneficial for generating coherent and concise summaries. Furthermore, pre-trained language models can be easily combined with our model, which further improve the summarization performance significantly. Empirical results on the WikiSum and MultiNews dataset show that the proposed architecture brings substantial improvements over several strong baselines.

연구 동기 및 목표

• 다중문서 요약(MDS)에서 교차 문서 관계를 모델링하는 과제를 해결함으로써, 핵심 내용을 식별하고 요약의 일관성을 확보하는 데 기여하고자 한다.
• 유사도, 주제, 논리적 관계 그래프와 같은 명시적 그래프 표현이 신경망 추상적 MDS 모델의 성능 향상에 얼마나 효과적인지 조사하고자 한다.
• 그래프 구조를 문서 인코딩과 요약 생성 모두에 통합하여 성능 향상을 이끌어내는 통합 프레임워크를 개발하고자 한다.
• 예측된 언어 모델(RoBERTa 등)과의 효과적인 통합을 통해 더 긴 입력 시퀀스를 처리하고 요약 품질을 향상시키고자 한다.
• 더 풍부한 그래프 구조가 정보성, 유창성, 간결성 측면에서 요약 성능 향상에 기여함을 입증하고자 한다.

제안 방법

• 명시적 그래프 구조를 통해 교차 문서 관계를 포착함으로써 문서 인코딩을 향상시키는 그래프 기반 주의 메커니즘을 도입한다.
• 디코더에서 그래프의 구조적 정보를 활용하여 요약 생성을 안내하는 계층적 그래프 주의 메커니즘을 적용한다.
• 입력 표현을 위해 세 가지 유형의 그래프를 구성한다: 유사도 그래프(어휘 유사도), 주제 그래프(주제 모델링 기반), 논리적 관계 그래프(논리적 관계 기반).
• 예측된 언어 모델(RoBERTa 등)과 그래프 강화 인코더-디코더 아키텍처를 결합하여 장문 입력 처리 능력과 성능 향상을 향상시킨다.
• 노드 표현을 개선하기 위해 그래프 컬러이션 네트워크(GCNs)를 활용하여 중요도 및 관계 정보의 효과적인 전파를 가능하게 한다.
• 이중 단계 학습 전략을 적용한다: 먼저 그래프 인코더와 디코더를 사전 학습한 후, 전체 모델을 엔드 투 엔드로 미세 조정한다.

실험 결과

연구 질문

• RQ1 유사도, 주제, 논리적 관계 그래프와 같은 명시적 그래프 표현이 추상적 다중문서 요약에 기여하는가?
• RQ2 인코딩 및 디코딩 단계에 그래프를 통합할 경우 생성된 요약의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 제안된 모델이 강력한 베이스라인을 능가하는가, 특히 긴 입력 문서에서 성능이 향상되는가?
• RQ4 더 풍부한 그래프 구조(예: 논리적 관계 vs. 유사도)가 요약 성능 향상에 어느 정도 영향을 미치는가?
• RQ5 그래프 강화 모델이 예측된 언어 모델과 효과적으로 통합되어 장문 입력 요약 성능을 향상시킬 수 있는가?

주요 결과

• WikiSum 테스트 세트에서 GraphSum은 ROUGE-1 점수 42.63, ROUGE-2 점수 27.70, ROUGE-L 점수 36.97을 기록하여 강력한 베이스라인을 크게 앞서는 성과를 보였다.
• 제거 실험 결과, 그래프 기반 인코딩(w/o graph enc: ROUGE-1 40.61)과 그래프 유도 디코딩(w/o graph dec: ROUGE-1 42.06)이 성능 향상에 필수적임을 확인하였다.
• 긴 입력(예: 3000 토큰)에서도 GraphSum은 뛰어난 성능을 유지하였으며, 입력 길이가 길어질수록 베이스라인 대비 성능 향상 폭이 커져, 장문 처리 능력이 뛰어남을 입증하였다.
• 인간 평가 결과, GraphSum과 GraphSum+RoBERTa가 평균 점수 1.02 및 1.16를 기록하여 다른 모델들(유의수준 p < 0.01)보다 뚜렷이 높은 평가를 받았다.
• GraphSum과 RoBERTa의 조합은 WikiSum에서 ROUGE-1 점수 43.21을 기록하여 그래프 모델링과 예측된 언어 모델 간의 강력한 상호보완성을 확인하였다.
• 더 풍부한 관계를 가진 그래프—특히 논리적 관계 그래프—가 더 큰 성능 향상을 이끌어내어, 그래프의 구조적 깊이가 요약 품질 향상에 기여함을 확인하였다.