[논문 리뷰] Boosting Factual Correctness of Abstractive Summarization with Knowledge Graph.

Chenguang Zhu, William Hinthorn외 5명|arXiv (Cornell University)|2020. 03. 19.

Topic Modeling인용 수 34

한 줄 요약

이 논문은 입력 텍스트에서 유도된 지식 그래프를 통합함으로써 사실적 정확성을 향상시키는 사실 인지 추상 요약 모델인 FASum을 제안한다. 신경 그래프 계산을 활용해 사실 관계를 생성 과정에 융합함으로써, FASum은 CNN/DailyMail 데이터셋에서 UniLM보다 1.2% 높은 사실적 정확성을 기록했고, BottomUp보다 4.5% 높아지며 최신 기술 모델들을 크게 능가한다.

ABSTRACT

A commonly observed problem with abstractive summarization is the distortion or fabrication of factual information in the article. This inconsistency between summary and original text has led to various concerns over its applicability. In this paper, we propose to boost factual correctness of summaries via the fusion of knowledge, i.e. extracted factual relations from the article. We present a Fact-Aware Summarization model, FASum. In this model, the knowledge information can be organically integrated into the summary generation process via neural graph computation and effectively improves the factual correctness. Empirical results show that FASum generates summaries with significantly higher factual correctness compared with state-of-the-art abstractive summarization systems, both under an independently trained factual correctness evaluator and human evaluation. For example, in CNN/DailyMail dataset, FASum obtains 1.2% higher fact correctness scores than UniLM and 4.5% higher than BottomUp.

연구 동기 및 목표

• 추상 요약에서 지속적인 사실 오류 문제를 해결하기 위해.
• 순서 모델링에만 의존하지 않고도 생성된 요약의 사실적 정확성을 향상시키기 위해.
• 입력 텍스트에서 추출한 사실 지식을 구조적이고 학습 가능한 방식으로 요약 과정에 통합하기 위해.
• 요약 생성 중 사실 일관성을 향상시키는 신경 그래프 기반 메커니즘을 개발하기 위해.
• 자동 평가 및 인간 평가를 통해 최신 기술 추상 모델들보다 뛰어난 사실적 정확성을 입증하기 위해.

제안 방법

• 관계 추출 기법을 사용하여 입력 기사에서 추출된 사실 관계로부터 지식 그래프를 구축한다.
• 사실 관계가 그래프 구조의 노드와 간선으로 표현되며, 엔티티와 그들의 관계를 나타낸다.
• 신경 그래프 계산을 적용하여 그래프 내부에서 정보를 전파하고 집계함으로써 맥락 표현을 풍부하게 한다.
• 그래프 강화 표현을 시퀀스 투 시퀀스 모델의 디코더에 융합하여 사실 기반 요약 생성을 유도한다.
• 재구성 및 생성 목표의 조합을 통해 엔드 투 엔드로 훈련하여 사실 일관성을 유지한다.
• 디코딩 중에 관련 사실을 동적으로 참조하기 위해 지식 그래프 어텐션 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 입력 텍스트에서 유도된 구조적 사실 지식을 통합하면 추상 요약의 사실적 정확성이 향상되는가?
• RQ2 표준 순서 모델링과 비교했을 때 그래프 기반 지식 통합은 사실 오류를 줄이는 데 얼마나 효과적인가?
• RQ3 자동 평가 및 인간 평가에서 제안된 방법은 최신 기술 모델들보다 사실적 정확성에서 얼마나 뛰어나게 성과를 내는가?
• RQ4 신경 그래프 계산의 사용은 요약 생성 중 사실 일관성을 유지하는 데 모델의 능력을 향상시키는가?
• RQ5 지식 그래프 융합은 벤치마크 데이터셋에서 사실적 정확성 지표에 측정 가능한 향상을 이끌 수 있는가?

주요 결과

• 독립적인 사실 정확성 평가자에 따르면, FASum은 CNN/DailyMail 데이터셋에서 UniLM보다 1.2% 높은 사실적 정확성 점수를 기록했다.
• 동일한 벤치마크에서 FASum은 BottomUp보다 사실적 정확성에서 4.5% 높아, 뚜렷한 향상을 보였다.
• 인간 평가 결과, FASum은 최신 기술 모델들보다 더 높은 사실 일관성을 갖는 요약을 생성하는 것으로 확인되었다.
• 신경 그래프 계산을 통한 지식 그래프 융합은 더 정확하고 신뢰할 수 있는 요약 생성을 이끌어냈다.
• 모델의 성능 향상은 자동 평가 및 인간 평가 모두에서 일관되게 관찰되어 그 효과성을 입증했다.
• 입력에서 추출된 사실 관계가 디코딩 중 효과적으로 활용되어 오류를 줄이고 사실 정확성을 향상시켰다.