[논문 리뷰] Multi-Document Scientific Summarization from a Knowledge Graph-Centric View

Pancheng Wang, Shasha Li외 5명|arXiv (Cornell University)|2022. 09. 09.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 다중 문서 과학 요약(MDSS)를 위한 지식 그래프 중심의 Transformer 기반 모델인 KGSum을 제안한다. 이 모델은 구조화된 지식 그래프를 통해 인코딩과 디코딩을 향상시켜, Multi-XScience 데이터셋에서 ROUGE 및 엔티티 재현율 측면에서 기존 베이스라인을 뛰어넘는 최고 성능을 달성한다.

ABSTRACT

Multi-Document Scientific Summarization (MDSS) aims to produce coherent and concise summaries for clusters of topic-relevant scientific papers. This task requires precise understanding of paper content and accurate modeling of cross-paper relationships. Knowledge graphs convey compact and interpretable structured information for documents, which makes them ideal for content modeling and relationship modeling. In this paper, we present KGSum, an MDSS model centred on knowledge graphs during both the encoding and decoding process. Specifically, in the encoding process, two graph-based modules are proposed to incorporate knowledge graph information into paper encoding, while in the decoding process, we propose a two-stage decoder by first generating knowledge graph information of summary in the form of descriptive sentences, followed by generating the final summary. Empirical results show that the proposed architecture brings substantial improvements over baselines on the Multi-Xscience dataset.

연구 동기 및 목표

• 주제 관련 논문 클러스터로부터 간결하고 일관된 요약을 생성하여 과학 문헌의 정보 과잉 문제를 해결한다.
• 모든 텍스트 단위를 동일하게 취급하는 대신, 과학 논문에서 유의미한 엔티티와 관계를 활용하여 MDSS에서의 콘텐츠 모델링을 향상시킨다.
• 순차적, 병렬적, 모순적인 관계와 같은 복잡한 논문 간 관계를 구조화된 지식 그래프를 통해 모델링한다.
• 특히 중간 단계인 KGtext 표현을 통해 지식 그래프 구조를 디코딩 과정에 지도함으로써 요약 생성을 향상시킨다.
• Multi-XScience 벤치마크에서 자동 평가 및 인간 평가 모두에서 지식 그래프 통합이 향상된 성능을 이끌어내는 것을 입증한다.

제안 방법

• 입력된 논문들로부터 SciIE를 사용해 엔티티와 관계를 추출하고, 이를 융합하여 다중 논문 관계 모델링을 위한 통합 지식 그래프를 구축한다.
• 통합 지식 그래프 내에서 노드 간 정보 전파를 위해 그래프 업데이터 모듈을 도입하여 전역적이고 다중 논문 간 관계를 포착한다.
• 문장 표현과 그래프 내 엔티티 노드 간 双방향 정보 흐름을 가능하게 하기 위해 엔티티-문장 업데이터 모듈을 설계한다.
• 이중 단계 디코더를 제안한다: 첫 번째 단계는 골드 요약의 지식 그래프를 자연어 형태로 변환한 설명적 KGtext를 생성하고, 두 번째 단계는 KGtext를 가이드로 최종 요약을 생성한다.
• 디코더에 그래프 어텐션 메커니즘을 적용하여 직접적으로 구조화된 지식 그래프 정보를 생성 과정에 통합한다.
• KGtext는 엔티티, 유형, 관계를 포함한 설명문의 시퀀스로 생성되며, 개략적 요약을 지도하기 위한 정보가 풍부한 중간 표현으로 기능한다.

실험 결과

연구 질문

• RQ1 지식 그래프는 다중 문서 요약에서 과학 논문의 콘텐츠와 논문 간 관계를 효과적으로 모델링할 수 있는가?
• RQ2 인코딩 및 디코딩 단계에서 지식 그래프 구조를 통합할 경우, 표준 시퀀스 모델 대비 요약 품질은 어떻게 향상되는가?
• RQ3 엔티티, 유형, 관계와 같은 지식 그래프 구성 요소 중 각각이 요약 성능에 미치는 영향은 어떠한가?
• RQ4 중간 KGtext 생성을 포함한 이중 단계 디코딩 전략은 요약의 일관성과 정보성 향상에 기여하는가?
• RQ5 지식 그래프 가이드가 생성된 요약의 엔티티 재현율과 의미적 커버리지 향상에 얼마나 기여하는가?

주요 결과

• KGSum은 Multi-XScience 데이터셋에서 ROUGE-1, ROUGE-2, ROUGE-L 점수 모두 최고 성능을 기록하며 강력한 베이스라인을 뛰어넘었다.
• 모든 비교 모델 대비 가장 높은 엔티티 재현율(EW)을 확보하여 유의미한 과학적 용어와 개념에 더 집중함을 시사한다.
• KGtext에 관계와 유형을 통합할수록 ROUGE 점수 향상이 점진적으로 이루어지며, 전체 버전(Ent+Type+Rel)에서 최고 성능(ROUGE-1: 35.77, ROUGE-2: 7.51, ROUGE-L: 31.43)을 기록했다.
• 낮은 ROUGE 점수(33.11/6.75/29.43)와 높은 단어 재현율(CW)을 동시에 기록한 MGSum의 사례는 단어 수준의 재현율만으로는 요약 품질을 보장할 수 없음을 입증하며, 의미적 구조의 중요성을 확인한다.
• 인간 평가 결과, KGSum은 더 정보가 풍부하고 일관성 있는 요약을 생성하며, 입력 논문의 핵심 엔티티와 관계를 더 잘 커버함을 확인했다.
• 제거 실험 결과, 그래프 업데이터와 엔티티-문장 업데이터 모듈이 성능 향상에 기여하며, 인코딩 단계에서 그래프 기반 정보 흐름의 효과성을 입증했다.