[논문 리뷰] Asking and Answering Questions to Evaluate the Factual Consistency of Summaries

Alex Wang, Kyunghyun Cho외 1명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 40인용 수 32

한 줄 요약

QAGS는 요약에서 질문을 생성하고 원문과 요약에서 질문에 답한 뒤 답을 비교하여 추출적 요약의 사실 일관성을 평가합니다. ROUGE나 BLEU와 같은 표준 지표보다 인간 판단과의 상관관계가 더 높게 나타납니다.

ABSTRACT

Practical applications of abstractive summarization models are limited by frequent factual inconsistencies with respect to their input. Existing automatic evaluation metrics for summarization are largely insensitive to such errors. We propose an automatic evaluation protocol called QAGS (pronounced "kags") that is designed to identify factual inconsistencies in a generated summary. QAGS is based on the intuition that if we ask questions about a summary and its source, we will receive similar answers if the summary is factually consistent with the source. To evaluate QAGS, we collect human judgments of factual consistency on model-generated summaries for the CNN/DailyMail (Hermann et al., 2015) and XSUM (Narayan et al., 2018) summarization datasets. QAGS has substantially higher correlations with these judgments than other automatic evaluation metrics. Also, QAGS offers a natural form of interpretability: The answers and questions generated while computing QAGS indicate which tokens of a summary are inconsistent and why. We believe QAGS is a promising tool in automatically generating usable and factually consistent text.

연구 동기 및 목표

• 추상 요약에서 n-그램 중복 외에 사실 일관성 평가의 필요성을 동기 부여한다.
• 질문 생성과 질의응답을 활용해 원문과의 사실 정합성을 평가하는 프레임워크를 제안한다.
• 사실성에 대한 인간 판단과 상관되는 지표인 QAGS를 개발하고 QA 프롬프트를 통한 해석 가능성을 제공한다.
• 기본 모델 품질, 도메인 변화, 질문 수의 변화에 대한 QAGS의 강건성을 입증한다.
• 향후 개선 및 다른 모달리티로의 확장을 위한 차감 실험과 오류 분석을 제시한다.

제안 방법

• 요약에서 질문을 생성하고, 원문과 요약을 사용해 질문에 답한 뒤 해당 답을 비교하는 3단계 평가 프레임워크를 정의한다.
• QAGS를 위해: (a) 요약 conditioned 질문 생성, (b) 발췌형 QA 모델로 답변 분포를 생성, (c) 토큰 수준의 F1을 답안 유사도 척도로 사용한다.
• 높은 확률의 질문들을 만들기 위해 빔 서치를 사용하고 휴리스틱과 QA 일관성 검사를 통해 품질을 필터링한다.
• 선정된 질문들에 걸친 대응되는 답의 유사도를 평균내어 QAGS 점수를 계산한다.
• CNN/DailyMail와 XSUM에서 인간 판단과의 상관관계를 보고하여 ROUGE, METEOR, BLEU, BERTScore보다 우수함을 확립한다.
• QA/QG 모델 품질, 도메인 변화, 질문 수, 대체 유사도 지표에 대한 강건성을 평가하기 위한 차감 실험을 수행한다.
• QAGS가 불일치를 식별하고 어떤 토큰이 문제가 되는지 시각화해 해석 가능성을 제공하는 질적 예시를 보여준다.

실험 결과

연구 질문

• RQ1 QAGS가 CNN/DailyMail 및 XSUM에서 추상 요약의 사실적 불일치를 신뢰성 있게 탐지할 수 있는가?
• RQ2 QAGS의 사실성에 대한 인간 판단과의 상관관계가 ROUGE, BLEU, METEOR, BERTScore 같은 전통적 지표와 비교해 어떠한가?
• RQ3 QA/QG 모델 품질, 도메인 변화, 사용된 질문 수의 변화에 QAGS가 얼마나 강건한가?
• RQ4 QAGS가 요약의 어떤 부분이 불일치하는지에 대해 해석 가능한 통찰을 제공하는가?
• RQ5 NLI 기반 방법과 비교해 재순위 매김 또는 사실 확인 맥락에서 QAGS의 성능은 어떠한가?

주요 결과

• QAGS는 CNN/DM 및 XSUM에서 인간 판단과의 Pearson 상관관계가 ROUGE, METEOR, BLEU, BERTScore보다 상당히 높게 나타나며(예: CNN/DM에서 ROUGE-2의 54.53 대 17.72).
• QA/QG 모델 품질 및 도메인 변화에 대해 QAGS는 강건하며 구성 요소가 약해져도 상관관계가 여전히 강력하다.
• 질문 수를 5개에서 20개로 늘리면 상관관계가 뚜렷하게 증가하지만 대략 50개를 넘으면 수익이 감소한다.
• 사실적 일관성에 대한 문장 순위 작업에서 QAGS는 NLI 기반 접근법(BERT NLI, ESIM, FactCC)을 능가한다(예: 72.1% 대 64.1–70.0%).
• QAGS는 생성된 질문과 답을 통해 해석 가능한 출력을 제공하고 요약에서 불일치가 있는 토큰을 시사한다.