[논문 리뷰] Mutual Information Alleviates Hallucinations in Abstractive Summarization

Liam van der Poel, Ryan Cotterell외 1명|arXiv (Cornell University)|2022. 10. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 모델의 불확실성(조건부 엔트로피로 측정)이 높을 때 소스 토큰과 타겟 토큰 간의 점별 상호정보량(PMI) 최적화로 전환하는 CPMI라는 디코딩 전략을 제안한다. 이는 개괄적 요약에서 환각 현상을 감소시킨다. 이 방법은 환각 토큰의 확률을 낮추면서도 XSUM에서 높은 ROUGE 및 BERTS 점수를 유지하며, PMI를 유일한 목적함수로 사용할 경우와 비교해 ROUGE-L 점수 하락 폭이 0.977%에 그친다.

ABSTRACT

Despite significant progress in the quality of language generated from abstractive summarization models, these models still exhibit the tendency to hallucinate, i.e., output content not supported by the source document. A number of works have tried to fix--or at least uncover the source of--the problem with limited success. In this paper, we identify a simple criterion under which models are significantly more likely to assign more probability to hallucinated content during generation: high model uncertainty. This finding offers a potential explanation for hallucinations: models default to favoring text with high marginal probability, i.e., high-frequency occurrences in the training set, when uncertain about a continuation. It also motivates possible routes for real-time intervention during decoding to prevent such hallucinations. We propose a decoding strategy that switches to optimizing for pointwise mutual information of the source and target token--rather than purely the probability of the target token--when the model exhibits uncertainty. Experiments on the XSum dataset show that our method decreases the probability of hallucinated tokens while maintaining the Rouge and BertS scores of top-performing decoding strategies.

연구 동기 및 목표

• 모델이 개괄적 요약 과정에서 환각을 일으킬 가능성이 있는지를 가리키는 검출 가능한 신호를 규명하는 것.
• 자기회귀 텍스트 생성에서 지속적인 환각 문제로 인해 사실성에 손상이 가는 문제를 해결하는 것.
• 생성 품질을 유지하면서도 부정확한 내용을 줄이는 실시간 디코딩 간섭 전략을 제안하는 것.
• 높은 모델 불확실성(조건부 엔트로피)이 환각 발생과 관련이 있음을 검증하는 것.

제안 방법

• 이 방법은 다음 토큰 예측의 조건부 엔트로피를 사용해 모델의 불확실성을 정량화한다.
• 불확실성이 임계값을 초과할 경우 표준 로그 확률에서 소스 토큰과 타겟 토큰 간의 점별 상호정보량(PMI)으로 전환하는 조건부 디코딩 전략인 CPMI를 도입한다.
• CPMI는 PMI(y; x) = log p(y|x) - log p(y)를 최적화하여 고불확실성 상황에서 소스와 관련된 토큰을 우선순위로 삼는다.
• 이 방법은 엔트로피에 따라 목적함수를 전환하는 동적 스코링 함수를 사용하는 빔 서치를 적용한다.
• 사람이 주석을 달아 환각 스팸을 포함한 XSUM 데이터셋에 이 방법을 적용하여 사실성과 유창성에 미치는 영향을 평가한다.
• ROUGE, BERTS, FACTScore, FactCC 메트릭을 사용해 품질과 사실성 수준을 평가함으로써 방법을 평가한다.

실험 결과

연구 질문

• RQ1 개괄적 요약 과정에서 환각 토큰이 생성되기 전에 높은 조건부 엔트로피와 같은 측정 가능한 신호가 존재하는가?
• RQ2 고불확실성 단계에서 디코딩 목적함수를 PMI로 전환하면 부정확한 토큰 생성 확률이 낮아지는가?
• RQ3 제안된 CPMI 디코딩 전략은 사실성 향상과 함께 높은 ROUGE 및 BERTS 점수를 유지하는가?
• RQ4 표준 로그 확률 스코링과 비교해 CPMI 하에서 환각 토큰은 순위와 점수에서 어떻게 평가되는가?

주요 결과

• 높은 조건부 엔트로피는 환각 토큰 시퀀스의 시작과 강하게 상관되며, BARTS2S에서 첫 번째 환각 토큰의 평균 엔트로피는 4.197±0.065이며, 비환각 토큰의 평균 엔트로피 3.689±0.021보다 높다.
• CPMI 하에서 환각 토큰은 유의미하게 낮은 점수와 열악한 순위를 기록하며, 특히 부정확한 스팸의 시작 부분에서 두드러진다 (예: BARTS2S의 초기 환각 토큰에서 점수 하락 폭 −0.13±0.03).
• CPMI 디코딩 전략은 ROUGE-L 점수 하락 폭이 오직 0.977%에 그치지만, PMI를 유일한 목적함수로 사용할 경우 3.13%의 하락 폭을 보인다.
• 사실성 메트릭인 FACTScore는 CPMI 하에서 증가하여 사실성 향상을 시사하지만, CNN/DM와의 도메인 불일치로 FactCC는 감소한다.
• BERTS 점수의 안정성과 다양한 모델에서의 성능 저하 최소화로 인해, 이 방법은 높은 유창성을 유지한다.
• 적절한 임계값을 설정할 경우 비환각 토큰에 미치는 영향은 미미하여, 전환이 선택적이고 안전하다는 것을 시사한다.