[논문 리뷰] Multi-Fact Correction in Abstractive Text Summarization

Yue Dong, Shuohang Wang외 4명|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling참고 문헌 36인용 수 5

한 줄 요약

이 논문은 질문-답변 모델을 활용하여 오류가 있는 엔티티를 스파닝 선택을 통해 식별하고 교체함으로써 개괄적 요약에서 사실적 모순을 수정하는 두 모델로 구성된 SpanFact를 제안한다. 이 방법은 ROUGE 점수를 떨어뜨리지 않은 채 사실성 일致성을 향상시켜, 다양한 데이터셋에서 자동 평가 및 인간 평가 모두에서 뚜렷한 성과 향상을 이룬다.

ABSTRACT

Pre-trained neural abstractive summarization systems have dominated extractive strategies on news summarization performance, at least in terms of ROUGE. However, system-generated abstractive summaries often face the pitfall of factual inconsistency: generating incorrect facts with respect to the source text. To address this challenge, we propose Span-Fact, a suite of two factual correction models that leverages knowledge learned from question answering models to make corrections in system-generated summaries via span selection. Our models employ single or multi-masking strategies to either iteratively or auto-regressively replace entities in order to ensure semantic consistency w.r.t. the source text, while retaining the syntactic structure of summaries generated by abstractive summarization models. Experiments show that our models significantly boost the factual consistency of system-generated summaries without sacrificing summary quality in terms of both automatic metrics and human evaluation.

연구 동기 및 목표

• 높은 ROUGE 점수를 기록함에도 불구하고 환상적인 사실을 생성하는 추상적 텍스트 요약에서의 사실 일치성 문제를 해결하기 위해.
• 생성된 요약의 문법적 구조를 변경하지 않은 채 사실적 정확성을 향상시키는 후처리 보정 프레임워크를 개발하기 위해.
• 사전 훈련된 질문-답변 모델의 지식을 활용하여 요약 내 잘못된 엔티티를 식별하고 교체하기 위해.
• 보정 과정이 정보성과 유창성을 유지하면서 원본 문서에 대한 충실도를 향상시키기 위해.
• 자동 평가 지표와 인간 평가를 모두 사용하여 여러 벤치마크 데이터셋에서 방법을 평가하기 위해.

제안 방법

• 이 방법은 두 가지 보정 모델을 사용한다: 단일 엔티티를 마스킹하고 질문-답변를 통해 반복적으로 엔티티를 교체하는 QA-스패닝 모델과, 다중 마스킹을 적용하여 순차적으로 엔티티를 보정하는 자구동 모델.
• 각 모델은 마스킹된 엔티티를 기반으로 사전 훈련된 QA 모델을 사용해 질의를 생성한 후, 원본 텍스트에서 문맥적으로 가장 적절한 대체 엔티티를 선택한다.
• 보정 과정은 추상적 요약의 원래 문법적 구조를 유지하면서 오직 잘못된 스팬(주로 엔티티)만 교체한다.
• 이 모델들은 BERT-AB, Pointer-Generator, Transformer-AB와 같은 최신 추상적 요약 모델이 생성한 요약에 대해 후처리 단계로 적용된다.
• QA-스패닝 모델은 한 번에 하나의 마스킹된 엔티티에 조건을 부여하는 반면, 자구동 모델은 한 번의 순전파에서 다수의 엔티티를 마스킹하고 보정한다.
• SpanFact는 원본 컨텍스트 기반으로 정확한 엔티티 교체의 가능성을 최대화하는 스팬 선택 목적함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 후처리 보정 방법이 ROUGE 점수를 떨어뜨리지 않은 채 추상적 요약의 사실 일치성을 향상시킬 수 있는가?
• RQ2 QA 기반의 스팬 선택은 요약 내 환상적인 엔티티를 식별하고 교체하는 데 얼마나 효과적인가?
• RQ3 자구동 설정에서의 다중 마스킹이 반복적인 QA를 사용한 단일 마스킹보다 사실 보정에서 더 우수한 성능을 내는가?
• RQ4 다양한 요약 데이터셋에서, 다양한 수준의 환상성 존재 여부에 따라 이 방법의 성능은 어떻게 되는가?
• RQ5 인간 평가자들이 보정된 요약을 원본 요약보다 사실 정확성 측면에서 얼마나 선호하는가?

주요 결과

• QA-스패닝 모델은 FactCC 벤치마크에서 FactCC 점수를 84.89에서 86.08로, 인간 평가 점수를 87.79에서 90.74로 향상시켰다.
• 자구동 모델은 FactCC 점수를 84.89에서 85.96으로, 인간 평가 점수를 87.79에서 90.35로 향상시켰다.
• CNN/DailyMail 데이터셋에서 QA-스패닝 모델은 수동 평가에서 62개의 잘못된 엔티티 중 18개를 수정했고, 자구동 모델은 16개를 수정했다.
• 인간 평가 결과, 쌍대 비교에서 원본 요약보다 자구동 모델로 보정된 요약을 31.3%가 선호했으며, BERT-AB 기반 요약보다는 38%가 선호했다.
• 원본 요약에서 환상성이 높은 XSum에서 자구동 모델이 QA-스패닝 모델을 능가했으며, 이는 단일 마스킹이 덜 신뢰할 수 있었기 때문이다.
• FactCC 데이터셋에서 446개의 정확히 레이블이 부여된 문장 중에서 모델은 오직 3~4개의 잘못된 엔티티 교체만 저질러, 보정의 높은 정밀도를 보였다.