[논문 리뷰] Evaluating the Factual Consistency of Abstractive Text Summarization

Wojciech Kryściński, Bryan McCann외 2명|arXiv (Cornell University)|2019. 10. 28.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 원본 문서의 규칙 기반 변환을 통해 학습 데이터를 생성함으로써, 추상적 요약에서 사실 일관성 평가를 위한 약한 지도 학습 기반 BERT 기반 모델을 제안한다. 이 모델은 사실 일관성 예측, 원본에서 지원하는 구간 추출, 요약에서 일관성 없는 구간 식별을 동시에 수행하며, 강한 지도 학습 기반의 베이스라인을 능가하고 있으며, 설명 가능한 구간 강조 기능을 통해 인간의 보조적 활용 가능성을 입증한다.

ABSTRACT

Currently used metrics for assessing summarization algorithms do not account for whether summaries are factually consistent with source documents. We propose a weakly-supervised, model-based approach for verifying factual consistency and identifying conflicts between source documents and a generated summary. Training data is generated by applying a series of rule-based transformations to the sentences of source documents. The factual consistency model is then trained jointly for three tasks: 1) identify whether sentences remain factually consistent after transformation, 2) extract a span in the source documents to support the consistency prediction, 3) extract a span in the summary sentence that is inconsistent if one exists. Transferring this model to summaries generated by several state-of-the art models reveals that this highly scalable approach substantially outperforms previous models, including those trained with strong supervision using standard datasets for natural language inference and fact checking. Additionally, human evaluation shows that the auxiliary span extraction tasks provide useful assistance in the process of verifying factual consistency.

연구 동기 및 목표

• 추상적 요약에서 사실 일관성을 검증할 수 있는 평가 프로토콜의 부족을 해결하기 위해.
• 원본 문서와 생성된 요약 간의 사실 일관성 오류를 탐지하기 위한 확장 가능한, 약한 지도 학습 기반 방법을 개발하기 위해.
• 원본 및 요약에 대한 설명 가능한 구간 추출을 통합하여 사실 일관성 평가를 향상시키기 위해.
• 모델이 생성한 강조 표시가 인간 평가자들이 사실 일관성 검증을 수행하는 데 도움이 되는지 입증하기 위해.

제안 방법

• 원본 문서 문장에 규칙 기반 변환을 적용하여 사실 일관성 오류를 시뮬레이션하는 학습 데이터를 합성한다.
• 사실 일관성 예측, 원본에서 지원하는 구간 추출, 요약에서 일관성 없는 구간 식별을 동시에 수행하는 다중 작업 BERT 기반 모델을 학습한다.
• 최첨단 요약 모델의 오류 분석에서 유도된 약한 지도 학습을 활용하여, 비용이 많이 드는 인간이 레이블링한 NLI 또는 사실 확인 데이터셋에 의존하지 않는다.
• 결정의 해석 가능한 근거를 제공하기 위해, 구간 추출 구성 요소를 사실 일관성 예측과 함께 공동으로 학습한다.
• 모델은 요약 출력 데이터로 미세 조정되며, 인간 평가 및 자동 평가 지표를 통해 평가된다.
• 인간 평가에서는 모델이 제공한 강조 표시 유무를 비교하여 평가 속도와 평가자 간 일致도를 분석한다.

실험 결과

연구 질문

• RQ1 합성 데이터 기반의 약한 지도 학습 접근 방식이 NLI 및 사실 확인 데이터셋에서 강한 지도 학습을 통해 학습된 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ2 설명 가능한 구간 예측이 인간의 사실 일관성 검증 성능을 얼마나 향상시키는가?
• RQ3 모델이 추상적 요약에서 일관성 있는 주장과 일관성 없는 주장을 각각 얼마나 효과적으로 식별할 수 있는가?
• RQ4 모델이 생성한 강조 표시가 인간 평가의 효율성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• FactCCX 모델은 NLI 및 사실 확인 데이터셋에서 강한 지도 학습을 통해 학습된 베이스라인 모델보다 사실 일관성 탐지에서 뛰어난 성능을 보였다.
• 모델이 생성한 강조 표시를 활용한 인간 평가자들은 사실 일관성 작업을 21% 더 빠르게 수행했다.
• 모델 제공 강조 표시 유무에 따라 평가자 간 일致도(Fleiss’ κ)가 38% 향상되어, 평가 신뢰성이 향상됨을 확인했다.
• 원본 문서에서 관련 구간을 강조하는 데 65.33%의 정확도를, 요약에서 강조하는 데는 65.66%의 정확도를 기록했다.
• 구간 겹침에 대한 F1 스코어는 원본 기준 0.6207, 주장 기준 0.6650로, 인간 평가자와의 강한 일치를 보였다.
• 인간 평가 결과, 보조적 구간 추출 작업이 사실 일관성 검증에 상당한 도움이 된다는 것이 확인되었다.