[논문 리뷰] Calibrating LLM-Based Evaluator

Yuxuan Liu, Tianchi Yang외 7명|arXiv (Cornell University)|2023. 09. 23.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 자연어 생성(NLG) 평가에서 인간의 선호도와의 일치도를 향상시키기 위해 LLM 기반 평가자들을 校正하기 위한 그래디언트 기반, 다단계 프레임워크인 AutoCalibrate를 제안한다. 인용 학습과 자기 개선을 활용해 인간 레이블에서 자동으로 채점 기준을 추출하고 개선함으로써, 요약, 데이터-텍스트 변환, 환각성 탐지 작업 전반에서 전문가 평가와의 상관관계를 크게 향상시킨다.

ABSTRACT

Recent advancements in large language models (LLMs) on language modeling and emergent capabilities make them a promising reference-free evaluator of natural language generation quality, and a competent alternative to human evaluation. However, hindered by the closed-source or high computational demand to host and tune, there is a lack of practice to further calibrate an off-the-shelf LLM-based evaluator towards better human alignment. In this work, we propose AutoCalibrate, a multi-stage, gradient-free approach to automatically calibrate and align an LLM-based evaluator toward human preference. Instead of explicitly modeling human preferences, we first implicitly encompass them within a set of human labels. Then, an initial set of scoring criteria is drafted by the language model itself, leveraging in-context learning on different few-shot examples. To further calibrate this set of criteria, we select the best performers and re-draft them with self-refinement. Our experiments on multiple text quality evaluation datasets illustrate a significant improvement in correlation with expert evaluation through calibration. Our comprehensive qualitative analysis conveys insightful intuitions and observations on the essence of effective scoring criteria.

연구 동기 및 목표

• 모호하거나 일관되지 않은 채점 지침으로 인해 인간 선호도와 떨어지는 상용 LLM 기반 평가자들의 校정 부족 문제를 해결한다.
• 참고 번역 기반 평가 지표(BLEU, ROUGE 등)와 参고 없는 평가 지표(BERTScore 등)의 한계를 극복하며, 여전히 참고 번역에 의존하거나 인간과의 상관관계가 낮은 문제를 해결한다.
• 인간 선호도를 명시적으로 모델링할 필요 없이, 데이터 기반으로 고품질의 인간 일치 채점 기준을 자동으로 생성하고 개선하는 방법을 개발한다.
• 프롬프트 템plate에 명시적이고 구조화된 기준을 통합하여 LLM 기반 평가의 일관성과 신뢰도를 향상시킨다.
• 기울기 기반 튜닝 없이도 스케일러블한, 그래디언트 기반의 校정 파이프라인을 통해 실용적인 LLM 평가자 배포를 가능하게 한다.

제안 방법

• 인간 선호도를 반영하는 인간 레이블이 부여된 (샘플, 레이블) 쌍의 골드 데이터셋 $D^*$를 구축한다.
• 소수의 예시를 활용한 인용 학습을 통해 인간 레이블 데이터를 바탕으로 LLM이 초도 채점 기준 집합을 생성한다.
• 골드 데이터셋에서 후보 기준 집합을 평가하여 전문가 레이블과의 상관관계를 기준으로 가장 성능이 뛰어난 기준 집합을 필터링하고 선별한다.
• 최고 성능을 보인 기준 집합에 대해 자기 개선(self-refinement)을 적용하여 명확성, 일관성, 인간 판단과의 일치도를 향상시킨다.
• 최종적으로 校정된 기준을 평가 프롬프트 템플릿 $\mathcal{T}$에 통합하여 일반적인 지침 대신 명시적이고 구조화된 평가 기준을 삽입한다.
• 다단계 파이프라인을 활용: 초안 → 평가 → 필터링 → 개선 → 적용. 기울기 기반 튜닝 없이도 반복적인 개선을 보장한다.

실험 결과

연구 질문

• RQ1 피팅 튜닝이나 명시적 선호도 모델링 없이도 LLM 기반 평가자가 인간 선호도와 효과적으로 일치하도록 校정될 수 있는가?
• RQ2 구조화되고 데이터에서 유도된 채점 기준이 LLM 점수와 전문가 인간 평가 간의 상관관계를 어떻게 향상시키는가?
• RQ3 NLG 평가에 효과적인 채점 기준의 특성은 무엇이며, 자동으로 발견하고 개선할 수 있는가?
• RQ4 AutoCalibrate는 요약, 데이터-텍스트 생성, 환각성 탐지와 같은 다양한 NLG 작업에서 성능을 얼마나 향상시키는가?
• RQ5 프롬프트 형식, 입력 순서, 출력 공간의 변화에 대해 校정된 평가자는 얼마나 강건한가?

주요 결과

• AutoCalibrate는 SummEval, SFRES, QAGS-CNN를 포함한 여러 NLG 벤치마크에서 LLM 기반 점수와 전문가 평가 간의 상관관계를 크게 향상시킨다.
• 기본 LLM 평가자와 BLEU, ROUGE와 같은 전통적인 参고 기반 평가 지표보다도, 校정된 평가자가 전문가 점수와 더 높은 상관관계를 보인다.
• 자기 개선 과정은 채점 기준의 품질을 효과적으로 향상시켜 모호성을 줄이고 평가 결정의 일관성을 높인다.
• 효과적인 채점 기준을 위한 핵심 설계 원칙(예: 세분성, 명확성, 사실 기반의 구체성)을 규명하였으며, 이는 인간 판단과의 일치도를 향상시킨다.
• 각 작업에 대한 최적의 기준 집합을 공개함으로써, 향후 LLM 평가 시스템을 위한 재사용 가능한 인간 일치 기준 벤치마크를 제공한다.
• 정성적 분석 결과, 명시적이고 다차원적인 기준(예: 정보성, 자연스러움, 사실성)은 일반적인 점수 지침보다 더 신뢰할 수 있고 해석이 쉬운 평가를 이끈다.