[논문 리뷰] Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

Luyang Huang, Lingfei Wu외 1명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 40인용 수 17

한 줄 요약

이 논문은 지식 그래프를 통합한 개괄적 요약 프레임워크인 ASGARD를 제안한다. 이 프레임워크는 의미 이해를 향상시키고 환각 현상을 줄이기 위해 순차적이고 그래프 구조를 가진 이중 인코더를 사용한다. 강화학습을 위한 의미 기반 다중 선택 지문 보상 방식을 도입하여, 기준 모델보다 더 높은 ROUGE 점수와 훨씬 적은 무결성 없는 오류를 달성했으며, 인간 평가를 통해 더 정보량이 많고 무결성이 높은 요약을 확인할 수 있었다.

ABSTRACT

Sequence-to-sequence models for abstractive summarization have been studied extensively, yet the generated summaries commonly suffer from fabricated content, and are often found to be near-extractive. We argue that, to address these issues, the summarizer should acquire semantic interpretation over input, e.g., via structured representation, to allow the generation of more informative summaries. In this paper, we present ASGARD, a novel framework for Abstractive Summarization with Graph-Augmentation and semantic-driven RewarD. We propose the use of dual encoders---a sequential document encoder and a graph-structured encoder---to maintain the global context and local characteristics of entities, complementing each other. We further design a reward based on a multiple choice cloze test to drive the model to better capture entity interactions. Results show that our models produce significantly higher ROUGE scores than a variant without knowledge graph as input on both New York Times and CNN/Daily Mail datasets. We also obtain better or comparable performance compared to systems that are fine-tuned from large pretrained language models. Human judges further rate our model outputs as more informative and containing fewer unfaithful errors.

연구 동기 및 목표

• 개념 요약 모델이 생성하는 무결성 없는, 거의 추출적인 요약 문제를 해결한다.
• 지식 그래프를 통한 구조화된 지식 표현을 통합하여 입력 문서의 의미 이해를 향상시킨다.
• 엔티티 상호작용과 전반적 맥락을 향상시켜 요약의 환각 현상과 중복을 줄인다.
• 다중 선택 지문 질문을 기반으로 한 새로운 강화학습 목표 함수를 개발하여 모델이 더 나은 사실적 일관성으로 향하도록 이끈다.
• 그래프 기반 모델이 대체로 비그래프 기반 기준 모델보다 우수하며, 대규모 미세조정된 모델(BART, BERTSum 등)과도 경쟁 가능한 성능을 보임을 입증한다.

제안 방법

• 문서 전반에 걸친 엔티티와 관계를 표현하기 위해 오픈 정보 추출(OpenIE) 출력에서 지식 그래프를 구축한다.
• 이중 인코더를 활용: 국소 맥락을 위한 순차적 문서 인코더와 전반적 엔티티 상호작용을 위한 그래프 구조 인코더.
• 지식 그래프의 두 가지 변형 설계: 하나는 문서 수준의 엔티티 상호작용을 포괄하고, 다른 하나는 문단 수준의 상호작용과 주제 전환을 포함한다.
• 디코딩 중에 양 인코더의 출력을 통합하여 순차적 정보와 관련 정보를 동시에 고려한다.
• 쌍별 엔티티를 묶는 서술어 또는 인간 요약에서 공존하는 엔티티를 마스킹하여 다중 선택 지문 보상을 구성하고, 이를 강화학습을 통해 모델을 훈련시킨다.
• 사실적 일관성과 정보량을 최적화하기 위해 교차 엔트로피 손실과 지문 기반 보상의 조합을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 표준 순차 모델 대비 지식 그래프 기반 인코딩이 요약의 사실적 일관성과 정보량을 향상시키는가?
• RQ2 의미 기반 다중 선택 지문 보상이 모델이 전반적 엔티티 상호작용을 더 잘 포착하고 무결성 없는 내용을 줄이는 데 기여하는가?
• RQ3 BART, BERTSum 등 대규모 미세조정된 언어 모델과 비교해 그래프 기반 모델의 성능은 어떠한가?
• RQ4 자동 평가 지표(예: ROUGE)는 요약에서의 무결성 오류, 특히 환각 현상과 얼마나 관련이 있는가?
• RQ5 장거리 엔티티 의존성을 모델링함으로써 제안된 프레임워크가 중복을 줄이고 요약의 통일성을 향상시키는가?

주요 결과

• ASGARD 모델은 CNN/Daily Mail 및 뉴욕타임스 데이터셋에서 지식 그래프 입력이 없는 변형보다 유의미하게 높은 ROUGE 점수를 기록했다.
• 그래프 기반 모델은 그래프 입력이 없는 기준 모델 대비 무결성 없는 오류(특히 맥락 외부의 오류, 삭제/치환 오류)를 줄였다.
• 인간 평가에서 ASGARD가 생성한 요약은 비그래프 변형 대비 더 정보량이 많고 무결성 오류가 적다고 평가되었다.
• 자동 평가 및 인간 평가 지표에서 ASGARD는 미세조정된 BART, UniLM, BERTSum 모델과 비교해 유사하거나 더 우수한 성능을 보였다.
• 자동 평가 지표(ROUGE 및 지문 점수)는 무결성 오류, 특히 환각 현상과 약한 상관관계를 보였으며, 현재 평가 지표의 한계를 드러냈다.
• 환각 오류가 많은 요약은 ROUGE 및 지문 점수에서 높은 점수를 받는 경향이 있어, 현재 지표가 사실적 일관성 결함을 탐지하는 데 실패할 수 있음을 시사한다.