[논문 리뷰] Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection

Sihao Chen, Fan Zhang외 2명|arXiv (Cornell University)|2021. 04. 19.

Topic Modeling참고 문헌 23인용 수 7

한 줄 요약

이 논문은 원본 텍스트에서 의미적으로 호환 가능한 대체어를 추출하여 명시적 실체와 수량을 교체함으로써 대조적 후보 요약을 생성하고, 분류 모델을 사용해 가장 충실도가 높은 후보를 선택하는 모델에 종속되지 않는 후처리 방법을 제안한다. 이 방법은 여러 신경망 모델에서 요약의 외재적 환각 현상을 효과적으로 줄이며, 특히 XSum 데이터셋에서 두드러진 성능을 보이지만, 잘못된 교체로 인해 약간의 내재적 환각 현상이 발생한다.

ABSTRACT

Despite significant progress in neural abstractive summarization, recent studies have shown that the current models are prone to generating summaries that are unfaithful to the original context. To address the issue, we study contrast candidate generation and selection as a model-agnostic post-processing technique to correct the extrinsic hallucinations (i.e. information not present in the source text) in unfaithful summaries. We learn a discriminative correction model by generating alternative candidate summaries where named entities and quantities in the generated summary are replaced with ones with compatible semantic types from the source document. This model is then used to select the best candidate as the final output summary. Our experiments and analysis across a number of neural summarization systems show that our proposed method is effective in identifying and correcting extrinsic hallucinations. We analyze the typical hallucination phenomenon by different types of neural summarization systems, in hope to provide insights for future work on the direction.

연구 동기 및 목표

• 원본 텍스트에 존재하지 않는 사실을 생성하는 신경망 요약 생성에서 지속적인 외재적 환각 문제를 해결하기 위해.
• 기존 모델을 재학습하지 않고도 환각된 요약을 수정할 수 있는 후처리 기법을 개발하기 위해, 원본 문서와 생성된 요약만을 활용한다.
• 학습 데이터 자체에 환각 예제의 비율이 높은 환경(예: XSum 데이터셋)에서 대조적 후보 생성 및 선택의 효과를 연구하기 위해.
• 다양한 신경망 요약 생성 모델에서 환각의 유형과 원인을 분석하며, 특히 명시적 실체와 수치적 양에 초점을 맞춘다.
• 실체 수준의 충실도의 한계와 전반적 요약의 충실도 간의 관계에 대한 통찰을 제공하기 위해.

제안 방법

• 주어진 요약에서 환각된 명시적 실체와 수량을 원본 문서에서 추출한 의미적으로 호환 가능한 대체어로 교체하여 대조적 후보 요약을 생성한다.
• 충실도 있는 요약과 합성 부정 예측(즉, 실체/수량이 교체된 요약)을 구분할 수 있도록 훈련된 분류 모델을 사용해 후보를 순위 매기고 최적의 후보를 선택한다.
• 원본 문서와 잠재적으로 환각된 요약에서 자동으로 생성된 훈련 데이터를 사용해 선택 모델을 훈련하며, 실체 및 수량 유형에 중점을 둔다.
• 모델에 종속되지 않으며, 어떤 사전 학습된 개괄적 요약 모델의 요약 생성 후에 후처리 단계로 적용 가능하므로, 다양한 시스템에 쉽게 구현할 수 있다.
• 의미적 호환성은 실체 유형(예: Date, Person, Organization)과 수치 일致성(예: 순서의 크기, 맥락적으로 타당한 값)을 기반으로 정의한다.
• ROUGE와 BertScore와 같은 자동 평가 지표를 사용해 성능을 평가하며, 동시에 인간 평가를 통해 충실도 및 내재적/외재적 환각 비율을 분석한다.

실험 결과

연구 질문

• RQ1 대조적 후보 생성 및 선택이 기존 모델을 재학습하지 않고도 개괄적 요약의 외재적 환각을 효과적으로 줄일 수 있는가?
• RQ2 이 방법은 RNN 기반 및 트랜스포머 기반 모델을 포함한 다양한 신경망 요약 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ3 잘못된 교체로 인한 내재적 환각을 유발하는 것과 외재적 환각을 수정하는 것 사이의 상충 관계는 어떠한가?
• RQ4 실체 수준의 충실도와 요약 수준의 충실도 간 상관관계는 어느 정도이며, 실체 환각을 수정하는 것만으로 전반적 요약의 충실도를 확보할 수 있는가?
• RQ5 사전 학습 효과와 모델의 사전 지식가(예: 사전 학습 데이터의 아티팩트 또는 편향)가 제안된 보정 방법의 성공 및 실패 사례에 어떻게 영향을 미치는가?

주요 결과

• 제안된 방법은 XSum 데이터셋에서 최신 모델이 생성한 요약에서 외재적 환각을 크게 줄이며, 특히 명시적 실체와 수치에서 두드러진 효과를 보였다.
• 이 방법은 충실도에 유의미한 향상을 이끌어내었으며, 환각된 실체와 수치의 비율이 크게 감소했고, 동시에 높은 유창성과 핵심 정보 유지 능력을 유지했다.
• 성공에도 불구하고, 원본 문서에 유효한 대체어가 존재하지 않을 경우 약 1.9%의 경우에서 내재적 환각 현상이 발생했다.
• 사전 학습된 모델들(예: BART, RoBERTa)은 사전 학습 데이터의 아티팩트나 편향으로 인해 잘못된 교체를 더 자주 일으켰다.
• 실체 수준의 충실도가 요약 수준의 충실도를 보장하지는 않으며, 실체가 올바르게 교체된다고 해도 모델이 여전히 사실적으로 잘못된 문장을 생성할 수 있다.
• 인간 평가 결과, 외재적 환각이 발생한 경우의 73.1%에서 이 방법이 환각을 효과적으로 수정함을 확인했지만, 공통 지식 추론이나 지식 검색이 필요한 복잡한 사실 오류는 완전히 해결하지 못했다.