[논문 리뷰] Enhancing Extractive Text Summarization with Topic-Aware Graph Neural Networks

Peng Cui, Le Hu외 1명|arXiv (Cornell University)|2020. 10. 13.

Topic Modeling참고 문헌 40인용 수 6

한 줄 요약

이 논문은 추출적 텍스트 요약을 위한 주제 인식 그래프 신경망(GNN) 모델을 제안한다. 이 모델은 그래프 구조의 문서 표현을 통해 문장 간 관계를 포착하고, 공동 신경 주제 모델(NTM)을 통합하여 문서 수준의 주제 정보를 통합한다. 모델은 CNN/DM 및 NYT 데이터셋에서 최신 기술 수준의 성능을 달성하며, 장문의 과학 논문에서는 기존 방법보다 뚜렷하게 뛰어나며, 문서 길이 및 장르에 걸쳐 뛰어난 강건성을 보여준다.

ABSTRACT

Text summarization aims to compress a textual document to a short summary while keeping salient information. Extractive approaches are widely used in text summarization because of their fluency and efficiency. However, most of existing extractive models hardly capture inter-sentence relationships, particularly in long documents. They also often ignore the effect of topical information on capturing important contents. To address these issues, this paper proposes a graph neural network (GNN)-based extractive summarization model, enabling to capture inter-sentence relationships efficiently via graph-structured document representation. Moreover, our model integrates a joint neural topic model (NTM) to discover latent topics, which can provide document-level features for sentence selection. The experimental results demonstrate that our model not only substantially achieves state-of-the-art results on CNN/DM and NYT datasets but also considerably outperforms existing approaches on scientific paper datasets consisting of much longer documents, indicating its better robustness in document genres and lengths. Further discussions show that topical information can help the model preselect salient contents from an entire document, which interprets its effectiveness in long document summarization.

연구 동기 및 목표

• 긴 문서에서 장거리 문장 간 관계를 포착하는 데에 한계가 있는 기존 추출적 요약 모델의 문제를 해결하기 위해.
• 문장 선택 과정에 잠재 주제 정보를 통합하여 중요도 감지 성능을 향상시키기 위해.
• 문장 상호작용과 문서 수준 주제를 동시에 모델링하는 통합 프레임워크를 개발하여 더 정확한 추출적 요약을 실현하기 위해.
• 특히 이전 모델이 성능을 낮추는 장문의 과학 논문에서 모델의 강건성을 평가하기 위해.
• 그래프 기반 정제 이전에 주제 신호가 중요 콘텐츠를 사전 선별하는 방식을 분석함으로써 해석 가능성 제공하기 위해.

제안 방법

• 문장은 노드이고, 엣지는 의미적 및 위치적 관계를 표현하는 그래프 구조의 문서 표현을 구성한다.
• 그래프 신경망(GNN)은 연결된 문장 간 표현을 집계하여 장거리 의존성을 포착하고 문장 중요도 점수를 개선한다.
• 공동 신경 주제 모델(NTM)은 문서에서 잠재 주제를 탐지하기 위해 엔드 투 엔드로 훈련되며, 문서 수준의 특징을 생성한다.
• NTM의 주제 분포는 문장 표현과 결합되어 GNN이 중요 문장을 식별하는 데 도움을 준다.
• 최종 요약은 GNN 및 주제 인식 특징을 통합한 학습된 중요도 점수에 기반해 상위 랭크 문장을 선택하여 생성된다.
• ROUGE 점수를 최적화하는 미분 가능한 손실 함수를 사용해 전체 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 장문의 문서에서 문장 간 관계를 효과적으로 모델링하여 추출적 요약 성능을 향상시킬 수 있는가?
• RQ2 잠재 주제 정보를 통합함으로써 모델의 중요 콘텐츠 식별 능력은 어떻게 향상되는가?
• RQ3 제안된 방법은 장문의 과학 논문에서 기존의 추출적 모델보다 뛰어나게 성능을 발휘하는가?
• RQ4 주제 신호가 그래프 기반 정제 이전에 중요한 콘텐츠를 얼마나 효과적으로 사전 선별하는가?
• RQ5 모델은 다양한 문서 장르와 길이에 걸쳐 강건한가?

주요 결과

• 모델은 CNN/DM 및 NYT 기준 데이터셋에서 최신 기술 수준의 ROUGE-1, ROUGE-2, ROUGE-L 점수를 달성한다.
• 장문의 과학 논문 데이터셋에서는 이전 방법보다 뚜렷이 뛰어나며, 문서 길이에 대한 일반화 및 강건성 능력이 뛰어나다는 것을 입증한다.
• 제거 실험 결과, GNN 또는 주제 모델링 구성 요소를 제거하면 성능이 뚜렷이 저하되어 두 구성 요소가 모두 기여한다는 것을 확인한다.
• 정성적 분석 결과, 주제 정보가 복잡하거나 산재한 중요 콘텐츠가 있는 문서에서 모델이 관련 문장을 사전 선별하는 데 도움이 된다.
• 모델의 주의 메커니즘은 주제 테마와 일치하는 일관된 문장 클러스터를 강조하며, 더 나은 해석 가능성과 일관성 향상을 시사한다.
• GNN와 NTM의 공동 훈련은 두 구성 요소를 별도 또는 순차적으로 통합하는 것보다 더 나은 특징 학습을 가능하게 한다.