[논문 리뷰] KATSum: Knowledge-aware Abstractive Text Summarization

Guan Wang, Weihua Li외 2명|arXiv (Cornell University)|2022. 12. 06.

Topic Modeling인용 수 4

한 줄 요약

KATSum은 사실적 일관성과 논리적 흐름을 향상시키기 위해 지식 그래프 트리플릿(head-relation-tail)을 활용하는 지식 인식 추상적 텍스트 요약 모델을 제안한다. 원본 텍스트를 지식 그래프로 인코딩하고, 이를 트랜스포머 디코더에 입력하기 전에 관련성이 높은 트리플릿을 분류함으로써 KATSum은 사실 오류를 감소시키고, CNN/Daily Mail에서 XLNet를 사용할 경우 기준 모델 대비 20% 이상 향상된 최신 기술 수준의 ROUGE 점수를 달성한다.

ABSTRACT

Text Summarization is recognised as one of the NLP downstream tasks and it has been extensively investigated in recent years. It can assist people with perceiving the information rapidly from the Internet, including news articles, social posts, videos, etc. Most existing research works attempt to develop summarization models to produce a better output. However, advent limitations of most existing models emerge, including unfaithfulness and factual errors. In this paper, we propose a novel model, named as Knowledge-aware Abstractive Text Summarization, which leverages the advantages offered by Knowledge Graph to enhance the standard Seq2Seq model. On top of that, the Knowledge Graph triplets are extracted from the source text and utilised to provide keywords with relational information, producing coherent and factually errorless summaries. We conduct extensive experiments by using real-world data sets. The results reveal that the proposed framework can effectively utilise the information from Knowledge Graph and significantly reduce the factual errors in the summary.

연구 동기 및 목표

• 추상적 텍스트 요약에서 발생하는 제약 없는 생성으로 인한 무관심성과 사실적 일관성 결여 문제를 해결하기 위해.
• 핵심 엔티티 간의 관계 지식을 통합하여 요약의 논리적 흐름과 사실적 정확도를 향상시키기 위해.
• 간단한 키워드 추출을 넘어서 지식 그래프를 활용해 요약을 이끄는 프레임워크를 개발하기 위해.
• 지식 그래프 구축 및 트리플릿 분류가 요약 품질에 미치는 영향을 평가하기 위해.
• 지식 인식 모델링이 추상적 요약에서 ROUGE 점수를 향상시키고 환각 현상을 감소시킨다는 것을 입증하기 위해.

제안 방법

• 원본 텍스트에서 엔티티 및 관계 추출을 통해 지식 그래프를 구축하고, {head, relation, tail} 형식의 트리플릿을 형성한다.
• 그래프 신경망을 사용하여 지식 그래프 트리플릿을 저차원 공간에 임베딩하여 표현 학습을 수행한다.
• 학습된 분류기로 관련성이 높은 트리플릿만 필터링하여 요약 생성에 활용한다.
• 선택된 트리플릿 임베딩을 트랜스포머 기반 디코더에 통합하여 추상적 요약 생성을 이끈다.
• 입력 텍스트를 처리하고 문맥적 표현을 생성하기 위해 사전 학습된 언어 모델(BERT 및 XLNet)을 인코더로 사용한다.
• 교차 엔트로피 손실을 사용하여 스케줄링 디코딩 및 빔 서치를 활용한 추론을 위한 엔드 투 엔드 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 지식 그래프 트리플릿은 추상적 텍스트 요약의 사실적 일관성 향상에 기여하는가?
• RQ2 엔티티 간의 관계 정보 포함 여부가 요약 품질과 ROUGE 점수에 어떤 영향을 미치는가?
• RQ3 트리플릿 필터링을 위한 분류 단계를 도입할 경우, 원시 임베딩을 사용하는 것에 비해 요약 성능 향상이 이루어지는가?
• RQ4 다른 사전 학습된 인코더(BERT 대비 XLNet)는 KATSum의 지식 그래프 구성 요소와 어떻게 상호작용하는가?
• RQ5 지식 그래프 구성 요소는 기준 추상적 모델 대비 사실 오류를 얼마나 줄이는가?

주요 결과

• KATSum에서 XLNet을 인코더로 사용할 경우 CNN/Daily Mail에서 ROUGE-L 점수는 40.2를 기록하여 기준 모델(31.5) 대비 27.6% 상대적 향상률을 보였다.
• XLNet 기반 모델은 BERT 기반 기준 모델 대비 ROUGE 점수에서 20% 이상 향상되어, XLNet이 장기간 문맥을 처리하고 지식 그래프 정보를 효과적으로 통합할 수 있음을 시사한다.
• 트리플릿 필터링을 위한 분류 단계를 제거하면 ROUGE-L 점수는 28.8에서 27.4로 감소하여, 잡음이나 관련성이 낮은 트리플릿을 필터링함으로써 성능 향상이 이루어짐을 입증한다.
• 전체 지식 그래프 구성 요소를 제거할 경우 성능이 심각하게 저하되어 ROUGE-L 점수는 28.8에서 25.2로 떨어졌으며, 이는 구성 요소의 필수적 역할을 입증한다.
• XSum에서는 KATSum이 XLNet을 사용해 ROUGE-L 점수 38.4를 기록하여 기준 모델 대비 10.0점 향상되어, 다양한 데이터셋에 대한 일반화 능력을 확인했다.
• 제거 실험을 통해 지식 그래프 구축 및 그 분류 단계가 사실 오류 감소와 요약 품질 향상에 필수적임을 확인했다.