[논문 리뷰] Improving Factual Consistency of Abstractive Summarization via Question Answering

Nan Feng, Cícero Nogueira dos Santos외 8명|arXiv (Cornell University)|2021. 05. 10.

Topic Modeling참고 문헌 24인용 수 5

한 줄 요약

이 논문은 개선된 자동 평가 지표인 Quals와 대조 학습 학습 목표인 ConSeq를 도입하여 개괄적 텍스트 요약에서 사실 일관성을 향상시키는 새로운 방법을 제안한다. 이 방법은 환각 현상을 크게 감소시키고 요약 벤치마크에서 자동 평가 및 인간 평가 점수를 모두 향상시킨다.

ABSTRACT

A commonly observed problem with the state-of-the art abstractive summarization models is that the generated summaries can be factually inconsistent with the input documents. The fact that automatic summarization may produce plausible-sounding yet inaccurate summaries is a major concern that limits its wide application. In this paper we present an approach to address factual consistency in summarization. We first propose an efficient automatic evaluation metric to measure factual consistency; next, we propose a novel learning algorithm that maximizes the proposed metric during model training. Through extensive experiments, we confirm that our method is effective in improving factual consistency and even overall quality of the summaries, as judged by both automatic metrics and human evaluation.

연구 동기 및 목표

• 생성된 요약에 환각되거나 모순되는 사실이 포함되는 등 사실 일관성 문제가 심각한 개괄적 요약 모델의 문제를 해결하기 위해.
• 학습 과정에 통합될 수 있는 효율적이고 확장 가능한 사실 일관성 자동 평가 지표를 개발하기 위해.
• 학습 중 사실 일관성의 미분 가능한 대체 지표를 최대화함으로써 사실 일관성을 최적화하는 대조 학습 알고리즘 ConSeq를 설계하기 위해.
• 제안된 방법이 요약 품질을 훼손하지 않으면서 사실 일관성을 향상시킨다는 것을 자동 지표와 인간 평가를 통해 입증하기 위해.

제안 방법

• 요약과 입력 문서로부터 질문-답변 쌍을 생성하기 위해 단일 질문 생성 모델을 사용하는 QAGS 지표의 단순화된 55배 빠른 대안인 Quals를 제안한다.
• 입력 문서에서의 답변의 음의 로그우도와 요약에서의 답변의 음의 로그우도를 기반으로 점수를 계산하며, 낮은 점수가 더 높은 사실 일관성을 의미한다.
• 사실 일관성을 학습 목표로 간주하여, 긍정(입력 문서)과 부정(요약)의 답변 우도 차이를 최대화하는 대조 학습 프레임워크인 ConSeq를 설계한다.
• REINFORCE 방식의 학습 목표에 Quals 점수를 미분 가능한 보상 신호로 통합하여 사실 일관성의 엔드 투 엔드 최적화를 가능하게 한다.
• 표준 MLE 손실과 ConSeq 대조 손실의 조합을 사용하여 요약 모델을 학습함으로써 어법성과 사실 정확성의 균형을 맞춘다.
• 다양한 질문-답변 쌍을 생성하기 위해 단일 QAGen 모델을 사용하여 요약의 사실적 진술에 대한 효율적이고 광범위한 커버리지 확보

실험 결과

연구 질문

• RQ1 학습 과정에서 사용할 수 있는, 계산적으로 효율적인 사실 일관성 측정 지표를 설계할 수 있는가?
• RQ2 제안된 대조 학습 방법인 ConSeq는 표준 MLE 학습에 비해 사실 일관성 향상에 얼마나 효과적인가?
• RQ3 ConSeq를 통한 사실 일관성 최적화가 자동 지표와 인간 평가에서 측정 가능한 향상으로 이어지는가?
• RQ4 제안된 방법은 기준 모델에 비해 생성된 요약에서 환각 현상과 사실 오류를 어느 정도 감소시키는가?
• RQ5 ConSeq 프레임워크는 요약을 초월한 다른 시퀀스-투-시퀀스 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 Quals 지표는 QAGS에 비해 55배 빠른 속도를 달성하면서도 인간 평가 및 QAGS 점수와 강한 상관관계 유지.
• ConSeq 학습은 사실 일관성을 크게 향상시켜 BART-large 모델이 생성한 요약의 환각 현상을 감소시킨다.
• 인간 평가 결과, ConSeq를 사용해 생성된 요약은 표준 MLE 미세조정 모델에 비해 사실 일관성이 뚜렷이 높다.
• 어법성이나 ROUGE 점수를 떨어뜨리지 않으면서 사실 일관성을 향상시켜 요약 품질의 균형 잡힌 향상을 보여준다.
• Quals 기반 학습은 QAGS 및 FactCC와 같은 사실 일관성 지표에서 더 높은 성능을 내어 접근의 효과성을 확인한다.
• Quals 기반 학습은 잘못된 실체 기여 또는 잘못된 진술과 같은 일반적인 사실 오류를 줄이는 데 효과적이며, 정성적 사례 분석을 통해 이를 입증한다.