[논문 리뷰] Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback

Paul Roit, Johan Ferret외 17명|arXiv (Cornell University)|2023. 05. 31.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 강화학습을 통한 추론 피드백(RLEF)를 제안하며, 추론 모델을 기반으로 한 참조 없는 보상 신호를 사용하여 개괄적 요약의 사실 일관성을 향상시키는 방법이다. 이 방법은 참조 요약이 필요 없이도 요약의 사실성, 주요성, 간결성을 크게 향상시키며, XSum에서 자동 평가 지표와 인간 평가 모두에서 강력한 베이스라인을 능가한다.

ABSTRACT

Despite the seeming success of contemporary grounded text generation systems, they often tend to generate factually inconsistent text with respect to their input. This phenomenon is emphasized in tasks like summarization, in which the generated summaries should be corroborated by their source article. In this work, we leverage recent progress on textual entailment models to directly address this problem for abstractive summarization systems. We use reinforcement learning with reference-free, textual entailment rewards to optimize for factual consistency and explore the ensuing trade-offs, as improved consistency may come at the cost of less informative or more extractive summaries. Our results, according to both automatic metrics and human evaluation, show that our method considerably improves the faithfulness, salience, and conciseness of the generated summaries.

연구 동기 및 목표

• 요약 생성 과정에서 환상적 또는 근거 없는 진술을 생성하는 사실 일관성 문제를 해결하기 위해.
• 인간이 작성한 참조 요약에 의존하지 않고도 사실 일관성을 향상시키기 위해, 참조 요약이 없는 데이터에서도 학습이 가능하도록 하기 위해.
• 사실 일관성과 주요성, 일관성 간의 균형을 유지하여, 빈약하거나 지나치게 추출적인 요약을 방지하기 위해.
• 사전 훈련된 텍스트 추론 모델을 활용하여 텍스트 생성에서 사실성에 대한 확장성 있고 일반적인 보상 신호를 제공하기 위해.
• 다양한 정규화 및 디코딩 전략 하에서 사실 일관성, 정보량, 모델 행동 간의 상호 관계를 탐색하기 위해.

제안 방법

• 입력 문서와 생성된 요약 간의 텍스트 추론 간의 보상 신호를 활용하여 강화학습(Reinforcement Learning, RL)을 통한 사전 훈련된 요약 모델의 미세조정을 수행한다.
• 사전 훈련된 자연어 추론(Natural Language Inference, NLI) 모델을 사용하여 추론 점수를 계산하고, 이를 사실 일관성 보상으로 활용하며, 추론를 사실 정확성의 대체 지표로 간주한다.
• 분포 이탈을 방지하고 주요성 및 일관성을 유지하기 위해 RL 정책과 사전 훈련된 앵커 모델 간의 KL 정규화를 적용한다.
• 추론 보상과 KL 정규화를 조합한 정규화된 RL 목표 함수를 최적화하며, 정책 그래เดียน트 정리에 따라 복합 보상에 기반한 최적화를 수행한다.
• 참조 요약 없이도 입력 문서와 생성된 요약 쌍에서 직접 보상 신호를 계산하여, 정책 그래디언트 방법을 사용해 종단 간(end-to-end)으로 모델을 훈련한다.
• 사실 일관성(추론 보상)과 원본 모델 능력 유지(KL 정규화) 간의 균형을 조절하기 위해 하이퍼파rameter α를 사용한다.

Figure 1: Summaries produced by multiple methods from a news article in the XSum dataset. Hallucinations or contradictions are highlighted in red. Note how the T5 generated summary mentions that there is a fall in operating profits for the second year in a row , while the article only discusses a re

실험 결과

연구 질문

• RQ1 텍스트 추론 모델이 추론 없는 요약 생성에서 사실 일관성을 향상시키기 위해 효과적인 참조 없는 보상 신호로 기능할 수 있는가?
• RQ2 추론 피드백을 통한 강화학습 미세조정은 생성된 요약의 사실 일관성, 주요성, 간결성 간의 상호 관계에 어떤 영향을 미치는가?
• RQ3 앵커 모델에 대한 적절한 정규화(KL 발산을 통한)는 원본 요약 모델의 강점을 유지하면서 사실성 향상에 얼마나 효과적인가?
• RQ4 모델 규모, 정규화 강도, 디코딩 전략 간의 상호작용이 강화학습 최적화된 요약 모델의 최종 성능에 어떻게 영향을 미치는가?
• RQ5 제안된 방법은 자동 평가 지표와 인간 평가 모두에서 사실 일관성 및 요약 품질 측면에서 강력한 베이스라인을 능가하는가?

주요 결과

• 자동 평가 지표와 인간 평가를 통해 RLEF 방법은 강력한 베이스라인 대비 사실 일관성에서 뚜렷한 향상을 보였다.
• 인간 평가 결과, RLEF로 생성된 요약은 베이스라인 모델 대비 더 사실적이고 주요성 있으며 간결한 것으로 확인되었다.
• 참조 요약 없이도 환상적 요약을 효과적으로 줄일 수 있어, 자원이 제한된 환경이나 참조 없는 설정에 적용 가능하다.
• 적절하게 조정된 정규화(앵커 모델에 대한 KL 발산)는 모델이 지나치게 추출적이거나 정보량이 적은 요약을 생성하는 것을 방지한다.
• 일관성과 정보량 간의 상호 관계는 정규화 가중치 α 및 디코딩 전략과 같은 하이퍼파rameter에 매우 민감하게 의존한다.
• 결과적으로 추론 기반 보상은 인간 피드백이나 참조 기반 보상에 비해 사실 일관성을 향상시키기 위한 타당하고 효과적인 대안임을 입증한다.

Figure 2: RLEF training loop: (Left) given an input document, the policy generates a summary to be scored by the NLI model for consistency; (Right) given a document and the current generated summary, the KL distance between the RL and anchor model policies is used for regularization; Both scores are