[논문 리뷰] Reducing Quantity Hallucinations in Abstractive Summarization

Zheng Zhao, Shay B. Cohen외 1명|arXiv (Cornell University)|2020. 09. 28.

Topic Modeling참고 문헌 37인용 수 8

한 줄 요약

이 논문은 추상적 요약에서 환각적인 수량 정보를 줄이기 위해 비트 생성 요약에서 수량 엔티티(예: 날짜, 수치, 금액 등)를 원본 텍스트와 대조하여 사실성 검증하는 Herman 시스템을 제안한다. 수량 정보가 사실적으로 뒷받침되는 요약을 재순서 정렬함으로써 Herman은 정밀도(ROUGE Precision)와 F1 점수를 향상시키며, 재현율 손실은 최소화한다. 또한 인간 평가 결과, 원본 요약보다 재순서 정렬된 요약을 더 선호하는 경향을 보였다.

ABSTRACT

It is well-known that abstractive summaries are subject to hallucination---including material that is not supported by the original text. While summaries can be made hallucination-free by limiting them to general phrases, such summaries would fail to be very informative. Alternatively, one can try to avoid hallucinations by verifying that any specific entities in the summary appear in the original text in a similar context. This is the approach taken by our system, Herman. The system learns to recognize and verify quantity entities (dates, numbers, sums of money, etc.) in a beam-worth of abstractive summaries produced by state-of-the-art models, in order to up-rank those summaries whose quantity terms are supported by the original text. Experimental results demonstrate that the ROUGE scores of such up-ranked summaries have a higher Precision than summaries that have not been up-ranked, without a comparable loss in Recall, resulting in higher F$_1$. Preliminary human evaluation of up-ranked vs. original summaries shows people's preference for the former.

연구 동기 및 목표

• 추상적 요약에서 사실 오류를 해결하기 위해, 특히 날짜, 수치, 금액과 같은 수량 엔티티에 초점을 맞춘다.
• 정보량이나 유창성 손실 없이 요약의 사실 일관성을 향상시키기 위한 방법을 개발한다.
• 후행적으로 생성된 후보 요약들 중에서 수량 엔티티가 검증된 요약을 선택하는 재순서 정렬 시스템을 개발한다.
• 검증된 요약이 인간 평가자들에 의해 더 충실한 것으로 인식되는지 평가한다.
• XSum과 같은 기존 데이터셋이 요약 수량의 사실 일관성을 검증하는 데 어떤 한계를 지닌다

제안 방법

• Herman 시스템은 약한 지도 학습 방식을 사용하여 추상적 모델이 생성한 후보 요약에서 수량 엔티티를 식별하고 검증한다.
• 학습 데이터는 요약의 수량 엔티티를 원본 텍스트의 동일 유형의 다른 엔티티로 대체함으로써 자동으로 생성된다.
• 검증 모델은 요약 내 각 수량이 원본 텍스트의 유사한 엔티티에 의해 지지되는지 확인한다.
• 수량 엔티티의 검증 수에 기반해 요약을 재순서 정렬하며, 사실 일관성이 더 높은 요약을 우선시한다.
• 이 방법은 사후 처리 방식이므로, 후보 요약을 생성하는 모든 추상적 요약 모델과 호환된다.
• 인간 평가는 Qualtrics 기반 설문을 통해 수행되며, 참가자들은 양측 요약 중 수량 정확도 측면에서 더 충실한 것으로 평가된 요약을 선택한다. 수량은 비교를 위해 강조 표시된다.

실험 결과

연구 질문

• RQ1 후행적 재순서 정렬 시스템은 요약의 전반적 품질을 떨어뜨리지 않고 환각적인 수량 정보를 줄일 수 있는가?
• RQ2 인간 평가자들이 검증된 수량 엔티티를 포함한 요약을 환각된 요약보다 얼마나 선호하는가?
• RQ3 수량 엔티티의 사실 일관성은 ROUGE 점수, 특히 정밀도와 F1 점수에 어떤 영향을 미치는가?
• RQ4 XSum과 같은 기존 데이터셋은 요약 사실의 정확성을 검증하는 데 어떤 한계를 지닌다?
• RQ5 수량 검증에 기반한 단순한 재순서 정렬 전략이 기존 비트 선택 방법보다 우수한 성능을 낼 수 있는가?

주요 결과

• Herman이 재순서 정렬한 요약은 원본 요약보다 더 높은 ROUGE 정밀도와 F1 점수를 기록하여 사실 일관성이 향상됨을 나타낸다.
• ROUGE F1 향상은 주로 정밀도 향상 덕분이었으며, 재현율 감소는 미미했다.
• 인간 평가에서 19개의 시험 중 12개에서 세 명의 평가자가 모두 동일한 선택을 한 경우, 재순서 정렬된 요약을 더 선호하는 경향을 보였다. 이는 더 높은 충실도 인식을 의미한다.
• 참가자들은 원본 요약이 완벽하지 않더라도, 원본 텍스트에 더 가까운 수량을 포함한 요약을 자주 선호했다.
• 21개의 시험 중 13개에서는 참가자들이 양측 요약 모두를 충실하지 못하다고 평가했지만, 최소 두 명 이상이 여전히 재순서 정렬된 요약을 선호했다. 이는 검증 과정이 인식된 정확도를 향상시킨다는 것을 시사한다.
• 시스템 성능은 XSum 데이터셋의 한계로 인해 제한을 받았다. 이 데이터셋에서는 요약이 종종 기사의 첫 문장을 그대로 반복하기 때문에 사실 검증이 어려웠다.