[논문 리뷰] Enhancing Factual Consistency of Abstractive Summarization

Chenguang Zhu, William Hinthorn외 5명|arXiv (Cornell University)|2020. 03. 19.

Topic Modeling참고 문헌 35인용 수 14

한 줄 요약

이 논문은 트랜스포머 기반의 인코더-디코더 프레임워크에 그래프 어텐션 기반 기법을 통해 자가 추출된 지식 그래프를 통합함으로써 사실 일관성을 향상시키는 사실 인지 추상 요약 모델인 FASum을 제안한다. 또한 기존 요약을 수정하여 사실 오류를 수정하는 순서-순서 미세조정 기반의 사실 정정 모델인 FC를 도입하여 원본 모델을 재학습할 필요 없이 사실 일관성에 상당한 향상을 이룬다.

ABSTRACT

Automatic abstractive summaries are found to often distort or fabricate facts in the article. This inconsistency between summary and original text has seriously impacted its applicability. We propose a fact-aware summarization model FASum to extract and integrate factual relations into the summary generation process via graph attention. We then design a factual corrector model FC to automatically correct factual errors from summaries generated by existing systems. Empirical results show that the fact-aware summarization can produce abstractive summaries with higher factual consistency compared with existing systems, and the correction model improves the factual consistency of given summaries via modifying only a few keywords.

연구 동기 및 목표

• 추상 요약에서 왜곡되거나 허구적인 사실을 생성하는 사실 환각 문제를 해결하기 위해.
• 외부 지식 기반보다 입력 문서에서 직접 추출한 사실 지식을 통합하여 사실 일관성을 향상시키기 위해.
• 기존 추상 요약 모델의 요약을 재학습 없이도 개선할 수 있는 일반적인 목적의 사실 정정 모델(FC)을 개발하기 위해.
• 사실 일관성이 생성 과정 외에도 기존 출력물의 오류를 정밀하게 수정하는 방식으로 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 입력 문서에서 개방형 정보 추출(OpenIE)을 사용하여 사실 삼중항(주어-관계-목적어)을 추출하여 사실 지식 그래프를 구축한다.
• 각 엔티티를 그래프 어텐션 네트워크(GAT)를 사용하여 맥락에 맞는 노드 표현을 학습한다.
• 크로스 어텐션 메커니즘을 통해 트랜스포머 기반 추상 요약 모델의 디코더에 그래프 인코딩 표현을 통합하여 사실 기반 생성을 유도한다.
• 표준 순서-순서 목적과 크로스 엔트로피 손실을 사용하여 FASum 모델을 엔드 투 엔드로 훈련한다.
• UniLM 기반의 순서-순서 모델로 구성된 사실 정정기(FC)를 설계하고, 오류가 있는 엔티티를 포함한 합성 데이터에서 노이즈 제거 오토인코더로 미세조정한다.
• 지문에 있는 정확한 엔티티를 잘못된 엔티티로 교체하여 지문의 요약에서 일반적인 사실 오류를 시뮬레이션하는 방식으로 합성 훈련 데이터를 생성한다.

실험 결과

연구 질문

• RQ1 자기 추출된 사실 지식 그래프를 통합하면 추상 요약 모델의 사실 일관성이 향상되는가?
• RQ2 FASum 모델은 요약 품질을 유지하면서도 기존 추상 요약 모델보다 사실 정확성을 더 잘 유지하는가?
• RQ3 독립된 사실 정정 모델(FC)은 다른 모델이 생성한 요약의 사실 오류를 효과적으로 탐지하고 수정할 수 있는가?
• RQ4 FC 모델이 요약의 몇 가지 키워드만 수정함으로써 사실 일관성을 얼마나 향상시키는가?
• RQ5 사실 정정 방법은 다양한 추상 요약 모델과 다양한 텍스트 도메인에 대해 일반화 가능한가?

주요 결과

• FASum은 ROUGE 점수에만 의존하지 않고 BERT 기반의 사실 일관성 평가기로 측정했을 때, 기존 추상 요약 모델들(예: BottomUp 및 Seq2Seq)보다 높은 사실 일관성을 달성한다.
• 사실 정정기 FC는 기존 모델이 생성한 요약의 오류 엔티티를 소수의 수정만으로도 사실 일관성을 크게 향상시켜 CNN/DailyMail 데이터셋의 여러 예시에서 입증되었다.
• 질적 분석 예시에서 FC는 잘못된 선수에게 골을 기록하거나 사건의 주체를 잘못 식별하는 등의 엔티티 수준의 환각 현상을 정확한 지문의 엔티티로 교체함으로써 성공적으로 수정하였다.
• 스포츠, 뉴스, 법적 보도 등 다양한 도메인에서 뚜렷한 사실 정확성 향상이 일관되게 관찰되어 모델의 강건성이 입증되었다.
• FASum과 FC의 조합은 사실적으로 더 정확하고 의미적으로도 일관성 있는 요약을 생성하여, 사실 일관성이 생성 단계뿐 아니라 보정 단계를 통해 향상시킬 수 있음을 보여주었다.
• 실험 결과는 표준 ROUGE 메트릭이 사실 일관성을 충분히 반영하지 못함을 확인하였으며, 전용 평가 및 보정 메커니즘의 필요성을 입증하였다.