[논문 리뷰] Boosting Factual Correctness of Abstractive Summarization

Chenguang Zhu, William Hinthorn외 5명|arXiv (Cornell University)|2020. 03. 19.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 신경 그래프 계산을 사용하여 소스 텍스트에서 추출한 사실 관계를 통합함으로써 사실적 정확도를 크게 향상시키는 사실 인지 추상 요약 모델인 FASum을 제안한다. 또한 FASum은 몇몇 엔티티 토큰만 수정하여 요약문을 개선하는 사실 정확성 보정기(FC)를 도입하여 자동 평가와 인간 평가 모두에서 최신 기술 모델들을 능가한다.

ABSTRACT

A commonly observed problem with abstractive summarization is the distortion or fabrication of factual information in the article. This inconsistency between summary and original text has led to various concerns over its applicability. In this paper, we firstly propose a Fact-Aware Summarization model, FASum, which extracts factual relations from the article and integrates this knowledge into the decoding process via neural graph computation. Then, we propose a Factual Corrector model, FC, that can modify abstractive summaries generated by any model to improve factual correctness. Empirical results show that FASum generates summaries with significantly higher factual correctness compared with state-of-the-art abstractive summarization systems, both under an independently trained factual correctness evaluator and human evaluation. And FC improves the factual correctness of summaries generated by various models via only modifying several entity tokens.

연구 동기 및 목표

• 추상 요약에서 소스 텍스트의 사실을 왜곡하거나 위조하는 사실 환각 문제를 해결하기 위해.
• 입력 문서에서 추출한 사실 지식을 디코딩 과정에 통합하여 추상 요약의 사실 정확도를 향상시키기 위해.
• 기존 모델을 재학습하지 않고도 사실 일관성을 향상시킬 수 있는 경량의 후처리 보정 방법을 개발하기 위해.
• 자동 평가 지표와 인간 평가를 모두 활용하여 사실 정확도를 평가함으로써 평가 체계 간의 강건성을 확보하기 위해.

제안 방법

• FASum은 관계 추출 모듈을 사용하여 입력 문서에서 사실 관계(예: 주어-서술어-목적어 삼중항)를 추출한다.
• 이 관계들로부터 사실 지식 그래프를 구성하고, 디코딩 중에 사실 정보를 전파하고 집계하기 위해 그래프 신경망을 사용한다.
• 그래프로 인코딩된 사실 지식은 게이트형 어텐션 메커니즘을 통해 디코더에 통합되어 더 사실적으로 일관된 요약문 생성을 이끈다.
• FC는 생성된 요약문 내의 사실 일관성 오류를 식별하고 몇몇 엔티티 토큰만 수정함으로써 사실 정확도를 향상시키는 별도의 경량 모델이다.
• FC는 재학습이 필요 없는 후처리 단계로 작동하며, 어떤 추상 요약 모델의 요약문에도 적용 가능하다.
• 두 모델 모두 표준 추상 요약 벤치마크를 사용하여 훈련 및 평가되었으며, 사실 정확도는 자동 평가와 인간 평가를 모두 활용하여 평가되었다.

실험 결과

연구 질문

• RQ1 소스 텍스트에서 추출한 사실 관계를 디코딩 과정에 통합함으로써 추상 요약의 사실 정확도를 크게 향상시킬 수 있는가?
• RQ2 재학습 없이도 기존 모델을 보완할 수 있는 경량의 후처리 보정 모델이 사실 일관성을 효과적으로 향상시킬 수 있는가?
• RQ3 자동 평가와 인간 평가 모두에서 FASum의 사실 정확도는 최신 기술 모델들과 비교해 어떻게 되는가?
• RQ4 몇몇 엔티티 토큰만 수정함으로써 FC가 사실 정확도를 얼마나 향상시킬 수 있는가?

주요 결과

• 독립적으로 훈련된 사실 정확도 평가기로 측정한 결과, FASum은 최신 기술 추상 요약 모델보다 유의미하게 높은 사실 정확도를 달성한다.
• 인간 평가 결과, FASum은 기존 방법들과 비교해 더 뛰어난 사실 일관성을 가진 요약문을 생성함을 확인할 수 있었다.
• FC는 다양한 모델의 요약문을 몇몇 엔티티 토큰만 수정함으로써 사실 정확도를 향상시켜 효율성과 일반화 능력을 입증하였다.
• FC가 얻는 사실 정확도 향상 효과는 다양한 소스 모델 간에 일관되며, 이는 후처리 보정 도구로서의 강건성을 시사한다.