[논문 리뷰] Graph-based Neural Multi-Document Summarization

Michihiro Yasunaga, Rui Zhang외 4명|arXiv (Cornell University)|2017. 06. 20.

Topic Modeling참고 문헌 35인용 수 49

한 줄 요약

이 논문은 문장 간 및 문서 간 관계를 포착하기 위해 개인화된 논의 그래프(PDGs)에 그래프 컬러네이션 네트워크(GCNs)를 적용하는 기반 그래프 신경 다중문서 요약 모델을 제안한다. RNN으로 임bedded된 문장 특징과 GCN 전파를 결합함으로써, 모델은 명확성 추정을 향상시키고 DUC 2004에서 기존의 그래프 기반 방법과 순수한 GRU 기반 베이스라인을 능가하는 경쟁력 있는 성능을 달성한다.

ABSTRACT

We propose a neural multi-document summarization (MDS) system that incorporates sentence relation graphs. We employ a Graph Convolutional Network (GCN) on the relation graphs, with sentence embeddings obtained from Recurrent Neural Networks as input node features. Through multiple layer-wise propagation, the GCN generates high-level hidden sentence features for salience estimation. We then use a greedy heuristic to extract salient sentences while avoiding redundancy. In our experiments on DUC 2004, we consider three types of sentence relation graphs and demonstrate the advantage of combining sentence relations in graphs with the representation power of deep neural networks. Our model improves upon traditional graph-based extractive approaches and the vanilla GRU sequence model with no graph, and it achieves competitive results against other state-of-the-art multi-document summarization systems.

연구 동기 및 목표

• 기존의 신경 다중문서 요약 모델이 문장을 독립적으로 처리하여 문서 간 및 문장 간 관계를 忽略하는 한계를 해결하기 위해.
• 다중문서 요약에서 명확성 예측을 향상시키기 위해 논의 수준의 문장 관계를 심층 신경망에 통합하기 위해.
• 다양한 유형의 문장 관계 그래프—코사인 유사도, 근사 논의 그래프(ADG), 개인화된 논의 그래프(PDG)—가 요약 성능 향상에 미치는 영향을 평가하기 위해.
• 구조화된 문장 그래프에서 GCN 기반 메시지 전파가 기존의 그래프 중심성 또는 RNN 전용 기반 모델보다 더 나은 명확성 추정을 가능하게 한다는 것을 입증하기 위해.

제안 방법

• 논의 특징와 문장 임베딩을 사용하여 코사인 유사도 그래프, 근사 논의 그래프(ADG), 개인화된 논의 그래프(PDG)의 세 가지 유형의 문장 관계 그래프를 구축한다.
• GCN의 입력 노드 특징으로 사용하기 위해 양방향 GRU를 사용해 문장 임베딩을 생성한다.
• 고차원적 문맥 표현을 포착하기 위해 그래프 전역에서 특징을 전파하고 집계하는 다층 그래프 컬러네이션 네트워크(GCN)를 적용한다.
• GCN 처리된 문장 특징 위에 회귀 헤드를 적용하여 명확성 추정을 수행한다.
• 재중복 감소 전략을 적용한 탐욕적 문장 선택 방식을 통해 상위 순위 문장들로부터 최종 요약을 추출한다.
• PDG에서 개인화된 페이지랭크 스타일 엣지 가중치를 사용하여 서로 다른 문서의 문장 간 논의 관련 연결을 강조한다.

실험 결과

연구 질문

• RQ1 신경 다중문서 요약 모델에 문장 관계 그래프를 통합하면 기존의 그래프 기반 또는 RNN 전용 접근 방식을 초월해 명확성 추정을 향상시킬 수 있는가?
• RQ2 코사인 유사도, ADG, PDG와 같은 다양한 유형의 문장 관계 그래프가 요약 성능에 어떤 영향을 미치는가?
• RQ3 문장 그래프에서 GCN 기반 메시지 전파가 유의미하고 중복이 없는 요약 문장을 식별하는 데 모델의 능력을 향상시키는가?
• RQ4 PDG에 포착된 논의 수준의 관계는 표면적 유사도에 비해 요약 품질 향상에 얼마나 기여하는가?

주요 결과

• 개선된 개인화된 논의 그래프(PDG)를 사용하는 제안된 GCN 기반 모델은 DUC 2004 벤치마크에서 최신 기술 수준의 MDS 시스템과 경쟁 가능한 성능을 달성한다.
• 모델은 그래프 구조 없이 문장을 독립적으로 처리하는 순수한 GRU 기반 베이스라인을 크게 능가한다.
• PDG 기반 모델은 LexRank 및 DivRank와 같은 전통적인 그래프 기반 추출 방법보다도 향상된 성능을 보이며, 논의 인식 그래프와의 깊은 신경망 통합의 유용성을 입증한다.
• PDG는 노드의 차수와 명확성 간 상관관계가 가장 높은 것으로 나타났다(ρ = 0.42), 이는 유의미한 문장 관계를 효과적으로 포착하고 있음을 시사한다.
• ADG 및 PDG 그래프는 코사인 유사도 그래프보다 평균 엣지 가중치와 노드 차수 모두 높아, 논의 관계를 더 풍부하게 표현하고 있음을 반영한다.
• 시각화 결과는 PDG에서 고차수 노드가 참조 요약과 밀접하게 일치하는 유의미한 문장들과 대응함을 확인했으며, 특히 중심적 서사 내용을 제공하는 문장들에서 두드러진다.