[논문 리뷰] Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators

Yinhong Liu, Han Zhou외 5명|arXiv (Cornell University)|2024. 03. 25.

Interpreting and Communication in Healthcare인용 수 6

한 줄 요약

이 논문은 LLM 기반 평가를 쌍-위치 선호 순위 문제로 재구성하고, PairS를 제안합니다. 이 방법은 후보 텍스트를 인간 판단에 더 잘 맞추기 위해 불확실성 가이드 탐색으로 효율적으로 순위를 매깁니다.

ABSTRACT

Large Language Models (LLMs) have demonstrated promising capabilities as automatic evaluators in assessing the quality of generated natural language. However, LLMs still exhibit biases in evaluation and often struggle to generate coherent evaluations that align with human assessments. In this work, we first conduct a systematic study of the misalignment between LLM evaluators and human evaluation, revealing that existing calibration methods aimed at mitigating biases of LLMs are insufficient for effectively aligning LLM evaluators. Inspired by the use of preference data in RLHF, we formulate the evaluation as a ranking problem and introduce Pairwise-preference Search (PAIRS), an uncertainty-guided search-based rank aggregation method that employs LLMs to conduct pairwise comparisons locally and efficiently ranks candidate texts globally. PAIRS achieves state-of-the-art performance on representative evaluation tasks in long-form generations and demonstrates significant improvements over direct scoring. Furthermore, we provide insights into the role of pairwise preference in quantifying the transitivity of LLMs and demonstrate how PAIRS benefits from calibration using debiased pairwise evaluations.

연구 동기 및 목표

• 보정 후에도 점수 기반 LLM 평가기가 인간 판단과의 불일치를 보이는 이유를 평가한다.
• 정렬 일치를 개선하기 위해 RLHF에서 영감을 받은 쌍대 선호 평가 프레임워크를 제안한다.
• 쌍대 비교를 통해 후보 텍스트를 효율적으로 순위를 매기는 불확실성 가이드 탐색 알고리즘 PairS를 개발한다.
• LLM 평가자의 성질로서의 추이성(전이성)과 보정이 쌍대 방법과 어떻게 상호작용하는지 분석한다.
• 요약 및 개방형 생성 태스크에서 PairS의 확장성과 강건성을 입증한다.

제안 방법

• 보정 효과를 체계적으로 분석하고 LLM과 인간 간의 likelihoods p(y|s)에서의 불일치를 식별한다.
• 평가를 순위 문제로 형식화하고 쌍대 비교를 위한 추이적 가능도 L_T를 정의한다.
• PairS (Pair wise-preference Search)를 PairS-greedy 및 PairS-beam 변형으로 도입하여 쌍대 비교 공간을 효율적으로 탐색한다.
• 낮은 불확실성 비교를 가이드하기 위해 엔트로피를 이용한 불확실성 기반 가지치기 메커니즘을 도입한다.
• 정렬 후 고정(anchor) 이후 N log N에서 O(N) 동작으로 대규모 평가 세트를 처리하기 위한 두 단계 확장 버전를 제공한다.
• 균일한 인간 사전 및 한정된 모델 사전을 사용하여 PairS에 배치 보정을 적용하여 편향을 줄인다.

Figure 1: Illustration of RLHF (left), direct scoring with LLM evaluators (middle), and pairwise preference search ( PairS ; right). Pairwise preference data have been utilized to train the reward model to align the LLM in RLHF. Leveraging this idea, PairS reframes the traditional scoring-based eval

실험 결과

연구 질문

• RQ1 쌍대 선호 데이터가 LLM 평가자의 직접 점수 평가보다 인간 판단과 더 밀접하게 정합하는 평가를 생성할 수 있는가?
• RQ2 불확실성 가이드 탐색이 쌍대 비교 공간에서 최대 가능도 순위를 어떻게 효율적으로 추정할 수 있는가?
• RQ3 추이성(전이성)과 보정이 LLM 평가자의 성능과 신뢰성에 미치는 영향은 무엇인가?
• RQ4 PairS가 대규모 평가 세트 및 요약과 이야기 생성과 같은 실제 작업에 얼마나 확장 가능한가?

주요 결과

• 점수 기반 LLM 평가자의 보정은 인간 판단과 완전히 정렬되지 않으며, 보정 후에도 불일치가 남아 있다.
• PairS는 요약 및 이야기 생성 작업에서 인간 판단과의 정합성을 크게 향상시키며, 제로샷 설정에서 종종 최신 기준선에 접근하거나 이를 상회한다.
• PairS-beam은 일반적으로 PairS-greedy보다 더 강건한 순위를 산출하며(상관계수 증가, 표준오차 감소), 특히 추이성이 낮은 모델에서 그렇다.
• 불확실성 기반 가지치기는 탐색 공간을 축소하고 순위 품질을 유지하여 확장 가능한 평가를 가능하게 한다.
• LLM 평가자의 추이성은 평가 품질과 상관관계가 있으며, 더 강한 추이성은 더 효율적이고 신뢰할 수 있는 순위를 유도한다. 실험에서 GPT-3.5가 특히 일관된 동작을 보였다.
• 보정은 PairS에 도움이 되지만, 모델에 따라 이득이 다르게 나타난다(작은 모델에서 더 큰 이점, 매우 유능한 모델에서는 덜).

Figure 2: LLM evaluations are misaligned with human judgements. The score histograms on evaluating the coherence in HANNA (Chhun et al., 2022 ) and SummEval (Fabbri et al., 2021 ) . We present the scores from ground human evaluations, LLMs, and LLMs after calibrations. The histograms can be interpre