[논문 리뷰] GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization

Qianqian Xie, Jimin Huang외 2명|arXiv (Cornell University)|2022. 08. 21.

Topic Modeling인용 수 15

한 줄 요약

GRETEL은 계층적 트랜스포머 인코딩과 그래프 대비 주제 학습을 통합한 그래프 대비 주제 강화 언어 모델을 제안하여 장문 추출 요약 성능을 향상시킨다. 전반적인 문서 맥락과 골드 요약 감독을 활용함으로써 더 일관되고 주제 관련성이 높은 문장 표현을 포착하며, 일반 및 생물의학 데이터셋에서 기존 최고 성능(SOTA) 방법을 능가하는 높은 ROUGE 점수를 기록한다.

ABSTRACT

Recently, neural topic models (NTMs) have been incorporated into pre-trained language models (PLMs), to capture the global semantic information for text summarization. However, in these methods, there remain limitations in the way they capture and integrate the global semantic information. In this paper, we propose a novel model, the graph contrastive topic enhanced language model (GRETEL), that incorporates the graph contrastive topic model with the pre-trained language model, to fully leverage both the global and local contextual semantics for long document extractive summarization. To better capture and incorporate the global semantic information into PLMs, the graph contrastive topic model integrates the hierarchical transformer encoder and the graph contrastive learning to fuse the semantic information from the global document context and the gold summary. To this end, GRETEL encourages the model to efficiently extract salient sentences that are topically related to the gold summary, rather than redundant sentences that cover sub-optimal topics. Experimental results on both general domain and biomedical datasets demonstrate that our proposed method outperforms SOTA methods.

연구 동기 및 목표

• 장문에서 장거리 의존성과 전반적인 의미를 포착하는 데에 기존 사전 학습된 언어 모델(PLMs)의 한계를 해결하기 위해.
• 골드 요약 감독을 통합하여 비지도 주제 추론과 진정한 전반적 의미 간의 의미 격차를 극복하기 위해.
• PLMs의 국소적 맥락 표현과 전역적으로 일관된 주제 표현을 융합하여 추출 요약 성능을 향상시키기 위해.
• 높은 빈도 단어에 의해 지배되는 문장이 아니라 주제 관련 내용에 기반한 문장을 걸러내어 부정확한 중복을 줄이기 위해.
• 자르기 없이도 효과적으로 장문을 모델링할 수 있도록 계층적 트랜스포머 인코딩을 통해 실현하기 위해.

제안 방법

• 장문의 전체 맥락 표현을 유지하면서 장거리 의존성을 보존하기 위해 계층적 트랜스포머 인코더(HTE)를 사용하여 장문의 표현을 포착한다.
• 골드 요약 의미에 대해 문장 및 문서 표현 간의 대비를 통해 주제 표현을 학습하는 그래프 대비 주제 모델(GCTM)을 통합한다.
• 골드 요약과 의미적으로 유사한 문장 및 문서의 표현을 더 가까이 모으기 위해 감독 대비 학습을 사용한다.
• GCTM에서 유도된 전역 주제 표현과 PLM에서 유도된 국소 맥락 표현을 융합하여 주목도 있는 문장 선택을 유도한다.
• 추출 요약 성능 최적화를 위해 암시적 어텐션과 대비 손실의 조합을 사용하여 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 문서 수준 및 문장 수준의 주제 표현을 모두 활용하여 최종 요약의 의미 일관성과 주제 관련성을 향상시킨다.

실험 결과

연구 질문

• RQ1 골드 요약 감독을 주제 모델링에 통합함으로써 추출된 문장과 문서의 진정한 전반적 의미 간의 일치도를 향상시킬 수 있는가?
• RQ2 PLMs와 결합된 그래프 대비 학습이 장문 요약에 있어 주제 표현 품질을 어떻게 향상시키는가?
• RQ3 기존의 BOW 기반 주제 모델에 비해 계층적 트랜스포머 인코딩이 장거리 의존성 모델링에 얼마나 효과적인가?
• RQ4 대비 주제 학습 통합이 추출 요약에서 높은 빈도 단어에 의해 지배되는 문장의 선택을 얼마나 줄이는가?
• RQ5 GRETEL은 ROUGE 점수와 장문 내에서 선택된 문장의 위치 분포 측면에서 기존 SOTA 방법에 비해 어떻게 비교되는가?

주요 결과

• GRETEL은 일반 도메인 및 생물의학 장문 요약 데이터셋에서 최고 성능을 기록하며, 기존 SOTA 방법보다 높은 ROUGE 점수를 확보한다.
• 생성된 요약에서 의미 유사도와 일관성이 더 높다는 점에서, GRETEL이 골드 요약과 더 주제적으로 일치하는 문장을 선택함을 확인할 수 있다.
• GRETEL의 문장 선택은 문서의 모든 부분, 특히 후반 섹션에 걸쳐 분포되어 있어, 초기 문장에 치우치는 모델들에 비해 더 나은 장맥락 모델링 능력을 보인다.
• GRETEL에서 추출된 문장의 위치 분포는 오라클 요약과 가장 유사하여, 문서 전반에 걸쳐 핵심 정보를 더 잘 커버함을 시사한다.
• 선택된 문장의 주요 주제들은 '치료', '관절', '감염된' 등 골드 요약과 의미적으로 관련성이 높은 주제들로, 주제 기반 주목도 탐지의 타당성을 확인한다.
• PubMed-Long에서의 사례 연구 결과, BERTSum에 비해 GRETEL이 더 일관되고 정보량이 풍부한 요약을 생성하며, 주제 일관성은 높이고 중복은 줄였다.