[논문 리뷰] Enhancing Scientific Papers Summarization with Citation Graph

Chenxin An, Ming Zhong외 4명|arXiv (Cornell University)|2021. 04. 07.

Topic Modeling참고 문헌 32인용 수 8

한 줄 요약

이 논문은 과학 논문 요약을 위한 citation graph 증강 모델인 CgSum을 제안한다. 이 모델은 그래프 신경망을 통해 소스 논문의 내용과 참조 논문 정보를 통합한다. 비록 단순한 아키텍처(BiLSTM + GAT)를 사용하지만, ROUGE 점수에서 강력한 BERT 기반 모델들을 능가한다. 이는 citation 그래프가 도메인 특화 지식과 관련 연구 공동체의 글쓰기 패턴을 활용할 수 있게 해주어 요약 품질을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Previous work for text summarization in scientific domain mainly focused on the content of the input document, but seldom considering its citation network. However, scientific papers are full of uncommon domain-specific terms, making it almost impossible for the model to understand its true meaning without the help of the relevant research community. In this paper, we redefine the task of scientific papers summarization by utilizing their citation graph and propose a citation graph-based summarization model CGSum which can incorporate the information of both the source paper and its references. In addition, we construct a novel scientific papers summarization dataset Semantic Scholar Network (SSN) which contains 141K research papers in different domains and 661K citation relationships. The entire dataset constitutes a large connected citation graph. Extensive experiments show that our model can achieve competitive performance when compared with the pretrained models even with a simple architecture. The results also indicates the citation graph is crucial to better understand the content of papers and generate high-quality summaries.

연구 동기 및 목표

• 과학 논문의 요약을 생성하는 데 도전하는 데서, 이는 종종 도메인 특화 용어와 복잡한 개념으로 가득 차 있기 때문이다.
• 기존 요약 모델들이 citation 네트워크를 무시하는 한계를 극복하기 위해, 이 네트워크가 포함하는 가치 있는 맥락적 및 정의적 정보를 활용하고자 한다.
• 과학 요약 연구를 위해 141,000편의 논문과 661,000개의 인용 관계를 포함하는 대규모 연결된 citation 그래프 데이터셋(SSN)을 구축하고자 한다.
• 소스 논문의 내용과 그 citation 그래프 이웃 정보를 모두 활용하는 새로운 유형의 유도적 및 전도적 설정을 제안하고자 한다.
• citation 그래프 정보가 과학 분야에서 모델의 이해력과 요약 품질 향상에 필수적임을 입증하고자 한다.

제안 방법

• CgSum 모델은 소스 논문 텍스트를 처리하기 위해 BiLSTM 인코더를 사용하고, citation 하위그래프에서의 구조적 및 의미적 정보를 캡처하기 위해 GAT 기반 그래프 인코더를 활용한다.
• 소스 논문 주변의 citation 그래프에서 하위그래프를 샘플링하여, 소스 논문과 그 참조 논문들을 포함한 연구 공동체를 구성한다.
• 모델은 참조 논문의 초록에서 핵심 용어와 어휘를 인식하고 이를 디코더가 주의를 기울이고 통합하도록 이끄는 새로운 ROUGE 신용 메커니즘을 도입한다.
• 디코더는 소스 텍스트 인코더와 그래프 인코더의 특징을 결합하여 최종 추상적 요약을 생성한다.
• 모델은 유도적 및 전도적 설정 모두에서 훈련되며, 후자의 경우 훈련 중에 모든 테스트 노드에 대한 액세스를 허용하여 전체 citation 그래프 맥락을 시뮬레이션한다.
• 입력 시퀀스가 긴 과학 논문을 다루기 위해 BERT 기반 기준 모델에 위치 인코딩 확장을 적용하여 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 소스 논문의 내용 외에 citation 그래프 정보를 통합함으로써 과학 논문 요약의 품질을 향상시킬 수 있는가?
• RQ2 소스 논문의 인용 참조 수(즉, citation 그래프의 차수)가 다양할 경우 모델의 성능는 어떻게 변하는가?
• RQ3 연구 공동체 내에서 관련 논문들 간의 공통 용어와 글쓰기 패턴이 요약 품질 향상에 어느 정도 기여하는가?
• RQ4 citation 그래프 정보를 사용할 경우, 단순한 아키텍처(BiLSTM + GAT)가 대규모 사전학습된 트랜스포머 모델들과 경쟁 가능한가?
• RQ5 제안된 ROUGE 신용 메커니즘이 참조 논문의 관련 내용을 활용하도록 모델을 효과적으로 이끌 수 있는가?

주요 결과

• CgSum은 입력 시퀀스 길이가 짧고(500 vs 640), 인코더도 단순(1층 BiLSTM + 2층 GAT vs 12층 트랜스포머)한 점을 감안할 때, 강력한 BertSumAbs(mp=640)를 능가한다.
• 전도적 설정에서 CgSum은 BERT보다 ROUGE-1 점수에서 1.53점 향상되었고, PTGen + Cov보다 3.99점 향상되어 전체 citation 그래프 맥락이 제공될 경우 뚜렷한 성능 향상을 보였다.
• 유도적 설정에서도 CgSum은 BERT보다 ROUGE-1 점수에서 0.63점 높고, PTGen + Cov보다 1.52점 높아, 미리 보지 않은 그래프에서도 뛰어난 강건성을 보였다.
• 제거 실험 결과, 이웃 추출과 ROUGE 신용 메커니즘이 가장 큰 성능 향상을 가져왔으며, ROUGE 신용 메커니즘이 ROUGE-L 점수를 0.73점 향상시켰다.
• 소스 논문의 citation 그래프 차수가 높을수록 성능이 향상되었으며, 이는 더 풍부한 citation 네트워크가 더 나은 요약을 가능하게 한다는 것을 확인한다. 특히 전도적 설정에서 평균 차수 d_avg는 4.7로, 유도적 설정의 2.3보다 높다.
• GNN 인코더를 제거하면 성능이 PTGen + Cov 수준으로 떨어지며, 공동체 수준의 맥락을 캡처하는 데 있어 그래프 인코딩의 핵심적 역할을 확인할 수 있다.