[논문 리뷰] Entity-level Factual Consistency of Abstractive Text Summarization

Nan Feng, Ramesh Nallapati외 6명|arXiv (Cornell University)|2021. 02. 18.

Topic Modeling참고 문헌 16인용 수 5

한 줄 요약

이 논문은 개괄적 요약에서 환각 현상을 정량화하기 위해 실체 수준의 사실적 일致성 메트릭스—정밀도-소스(prec_s), 정밀도-타겟(prec_t), 재현도-타겟(recall_t)—를 제안한다. 학습 데이터를 소스 문서에 존재하지 않는 OOV 실체를 포함한 요약을 제거하도록 필터링하고, 다중 작업 실체 분류 헤드를 도입함으로써 저자들은 실체 환각 현상을 크게 감소시켰으며, XSUM에서 prec_s를 94% 이하에서 98% 이상으로 향상시켰다. 이는 ROUGE 점수에 거의 영향을 주지 않았다.

ABSTRACT

A key challenge for abstractive summarization is ensuring factual consistency of the generated summary with respect to the original document. For example, state-of-the-art models trained on existing datasets exhibit entity hallucination, generating names of entities that are not present in the source document. We propose a set of new metrics to quantify the entity-level factual consistency of generated summaries and we show that the entity hallucination problem can be alleviated by simply filtering the training data. In addition, we propose a summary-worthy entity classification task to the training process as well as a joint entity and summary generation approach, which yield further improvements in entity level metrics.

연구 동기 및 목표

• 소스 문서에 존재하지 않는 실체를 생성하는 개괄적 텍스트 요약에서 지속적인 실체 환각 문제를 해결하기 위해.
• ROUGE에 종속되지 않는 실체 수준의 사실적 일치성을 정량화할 수 있는 신뢰할 수 있는 자동 메트릭스를 개발하기 위해.
• 데이터 필터링, 다중 작업 학습, 공동 생성을 통해 사실적 일관성을 향상시키되, ROUGE 성능을 희생시키지 않기 위해.
• 표준 뉴스 요약 데이터셋인 XSUM, CNN/DailyMail, Newsroom에서 이러한 방법의 효과성을 평가하기 위해.

제안 방법

• 주요 메트릭으로 정밀도-소스(prec_s)를 제안: prec_s = |요약에 포함된 실체 ∩ 소스에 포함된 실체| / |요약에 포함된 실체|, 환각 비율을 측정한다.
• 생성된 요약과 골드 요약 간 실체 수준의 일치도를 평가하기 위해 정밀도-타겟(prec_t)과 재현도-타겟(recall_t)을 도입한다.
• 실체 매칭을 위해 표준 NER(SpaCy)와 히ュ리스틱을 적용하여 n-그램, 대소문자 무시, 정지어 필터링이 가능한 매칭을 허용한다.
• 요약에 소스 문서에 존재하지 않는 실체가 포함된 학습 예제를 제거하는 단순한 데이터 필터링 기법을 적용한다.
• 학습 중에 요약에 적합한 실체 분류 헤드를 갖춘 다중 작업 학습 설정을 도입하여 실체 선택을 안내한다.
• 요약과 동시에 주요 실체 목록을 동시에 생성하는 공동 시퀀스 생성 모델을 제안한다.

실험 결과

연구 질문

• RQ1 BART와 같은 최신 개괄적 요약 모델이 실체 수준의 사실적 일치성에 얼마나 심각하게 문제가 있는가?
• RQ2 prec_s, prec_t, recall_t와 같은 자동 메트릭스가 생성된 요약의 실체 수준의 사실적 일치성을 신뢰성 있게 정량화할 수 있는가?
• RQ3 학습 데이터를 소스 문서에 없는 실체를 포함한 요약을 제외하도록 필터링하면 테스트 시점의 생성에서 환각 현상이 줄어드는가?
• RQ4 실체 분류를 위한 다중 작업 학습이 ROUGE 점수를 떨어뜨리지 않으면서도 실체 수준의 사실적 일관성을 향상시킬 수 있는가?
• RQ5 표준 자동 회귀 디코딩과 비교해 볼 때, 공동으로 실체와 요약을 생성하는 방식이 실체 수준 메트릭스를 추가로 향상시킬 수 있는가?

주요 결과

• XSUM 데이터셋의 골드 표준 요약에는 평균적으로 prec_s가 94% 미만인 높은 수준의 실체 환각 현상이 존재한다.
• 데이터 필터링만으로도 XSUM 테스트 세트에서 prec_s를 94% 이하에서 98% 이상으로 향상시켜 환각 현상을 크게 감소시켰다.
• 다중 작업 실체 분류 헤드를 추가함으로써 prec_s와 기타 실체 수준 메트릭스가 추가로 향상되었으며, ROUGE 점수는 저하되지 않았다.
• 공동 실체 및 요약 생성 방식은 ROUGE에 약간의 손실을 끼치더라도 실체 수준 메트릭스에서 추가적인 성과 향상을 이뤘다.
• 10개의 XSUM 검증 예제에 대한 수동 평가 결과, NER 및 매칭 파이프라인의 정확도가 높아, 제안된 메트릭스의 신뢰성을 검증했다.
• 제안된 메트릭스와 방법은 XSUM, CNN/DailyMail, Newsroom를 포함한 여러 데이터셋에서 효과적이며, 사실적 일관성 향상에 일관되게 기여했다.