[논문 리뷰] AlignScore: Evaluating Factual Consistency with a Unified Alignment Function

Yuheng Zha, Yichi Yang외 2명|arXiv (Cornell University)|2023. 05. 26.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 7개의 NLP 작업에서 유래한 470만 개의 다양한 예제를 기반으로 훈련된 일반적인 텍스트 간 일치 함수를 활용하는 통합된 사실 일관성 측정지표인 AlignScore를 소개한다. RoBERTa 모델들(125M–355M 파라미터)을 피지테이닝하여, AlignScore는 22개의 벤치마크(19개의 제로샷 데이터셋 포함)에서 최신 기술 수준의 성능을 달성하며, GPT-4 기반 측정지표와 유사하거나 이를 초월함에도 불구하고 훨씬 더 작다.

ABSTRACT

Many text generation applications require the generated text to be factually consistent with input information. Automatic evaluation of factual consistency is challenging. Previous work has developed various metrics that often depend on specific functions, such as natural language inference (NLI) or question answering (QA), trained on limited data. Those metrics thus can hardly assess diverse factual inconsistencies (e.g., contradictions, hallucinations) that occur in varying inputs/outputs (e.g., sentences, documents) from different tasks. In this paper, we propose AlignScore, a new holistic metric that applies to a variety of factual inconsistency scenarios as above. AlignScore is based on a general function of information alignment between two arbitrary text pieces. Crucially, we develop a unified training framework of the alignment function by integrating a large diversity of data sources, resulting in 4.7M training examples from 7 well-established tasks (NLI, QA, paraphrasing, fact verification, information retrieval, semantic similarity, and summarization). We conduct extensive experiments on large-scale benchmarks including 22 evaluation datasets, where 19 of the datasets were never seen in the alignment training. AlignScore achieves substantial improvement over a wide range of previous metrics. Moreover, AlignScore (355M parameters) matches or even outperforms metrics based on ChatGPT and GPT-4 that are orders of magnitude larger.

연구 동기 및 목표

• NLI나 QA와 같은 좁은 영역의 작업 특화 함수에 의존하는 기존 사실 일관성 측정지표의 일반화 능력이 제한되어 있다는 문제를 해결하기 위해.
• 다양한 텍스트 길이와 도메인에서 다양한 사실 일관성 오류를 평가할 수 있는 통합형, 종합적인 일치 함수를 개발하기 위해.
• 7개의 기존 NLP 작업을 아우르는 넓고 다양한 데이터 분포를 활용해 일반 목적의 일치 모델을 훈련하기 위해.
• 작지만 매우 효과적인 측정지표를 만들기 위해, 작업 특화 피지테이닝 없이도 예측 가능한 평가 환경에 일반화될 수 있도록 하기 위해.
• 더 작은 통합 모델이 GPT-4와 같은 큰 모델보다 사실 일관성 평가에서 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• NLI, QA, 어색한 표현 교체, 사실 검증, 정보 검색, 의미 유사도, 요약 등 7개 작업에서 유래한 470만 개의 예제를 사용해 통합된 텍스트 간 일치 함수를 훈련한다.
• 15개의 데이터셋을 통합된 일치 학습 목표로 재구성하여, 다양한 텍스트 쌍 간의 일반적인 정보 일치를 학습할 수 있도록 한다.
• 컨텍스트 분할 전략을 사용한다: 장문의 컨텍스트를 거시적 블록으로 나누고, 주장을 미세한 문장 단위로 나누어 장문 텍스트에 대한 일치 정확도를 향상시킨다.
• 컨텍스트 블록과 주장 문장 간의 쌍별 일치 점수를 집계하여 최종 사실 일관성 점수를 계산한다.
• 대조 학습 목표를 사용해 RoBERTa-base 및 RoBERTa-large 모델(125M 및 355M 파라미터)을 일치 함수에 대해 피지테이닝한다.
• 최종 AlignScore 측정지표를 22개의 대규모 벤치마크에서 평가하며, SummaC 및 TRUE를 포함한 19개의 데이터셋은 훈련 중에 제외한다(제로샷 평가).

실험 결과

연구 질문

• RQ1 다양한 NLP 작업에서 훈련된 통합 일치 함수가 다양한 작업과 텍스트 유형 간 사실 일관성 평가에 일반화될 수 있는가?
• RQ2 355M 파라미터의 경량 모델이 GPT-4와 같은 대규모 언어 모델보다 사실 일관성 평가에서 어떻게 비교되는가?
• RQ3 컨텍스트 분할 전략이 장문 텍스트 생성 작업에서 성능을 얼마나 향상시키는가?
• RQ4 통합 훈련 프레임워크는 작업 특화 측정지표보다 더 나은 제로샷 일반화 성능을 보이는가?
• RQ5 단일 일치 함수가 모순과 환각 현상과 같은 다양한 사실 일관성 오류를 효과적으로 포괄할 수 있는가?

주요 결과

• AlignScore는 일치 훈련 중에 사용되지 않은 19개의 데이터셋 포함 22개의 평가 데이터셋에서 이전 측정지표보다 상당한 향상을 이뤘다.
• 355M 파라미터의 AlignScore 모델은 GPT-4 기반 측정지표와 유사하거나 이를 초월했지만, 크기가 수개 차수만큼 작다.
• AlignScore는 훈련 중에 사용되지 않은 19개의 22개의 벤치마크에서 강력한 제로샷 일반화 성능을 보였다.
• 제거 실험을 통해 컨텍스트 분할 전략이 특히 장문 텍스트에서 성능 향상에 크게 기여한다는 것이 확인되었다.
• 다양한 데이터 소스를 포함한 통합 훈련 프레임워크는 작업 특화 대안보다 더 견고하고 일반화 능력이 뛰어난 일치 함수를 만들어냈다.
• 모델의 성능은 요약, 대화, 사실 검증 등 다양한 작업에서 일관되게 유지되어 통합 설계의 타당성을 확인했다.