[논문 리뷰] LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models

Adian Liusie, Potsawee Manakul외 1명|arXiv (Cornell University)|2023. 07. 15.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 자동 자연어 생성(NLG) 평가를 위한 제로샷, 쌍별 비교 평가 방법을 제안한다. 두 개의 NLG 출력을 동시에 비교하도록 LLM을 프롬프팅하는 방식으로 절대 점수를 부여하는 것과는 달리, 이 방법은 특히 FlanT5 및 Llama2와 같은 중간 크기의 오픈소스 모델에서 뛰어난 성능을 달성한다. 또한 위치 편향을 식별하고 제거하기 위한 탈편향 기법을 통해 성능을 향상시킨다.

ABSTRACT

Current developments in large language models (LLMs) have enabled impressive zero-shot capabilities across various natural language tasks. An interesting application of these systems is in the automated assessment of natural language generation (NLG), a highly challenging area with great practical benefit. In this paper, we explore two options for exploiting the emergent abilities of LLMs for zero-shot NLG assessment: absolute score prediction, and comparative assessment which uses relative comparisons between pairs of candidates. Though comparative assessment has not been extensively studied in NLG assessment, we note that humans often find it more intuitive to compare two options rather than scoring each one independently. This work examines comparative assessment from multiple perspectives: performance compared to absolute grading; positional biases in the prompt; and efficient ranking in terms of the number of comparisons. We illustrate that LLM comparative assessment is a simple, general and effective approach for NLG assessment. For moderate-sized open-source LLMs, such as FlanT5 and Llama2-chat, comparative assessment is superior to prompt scoring, and in many cases can achieve performance competitive with state-of-the-art methods. Additionally, we demonstrate that LLMs often exhibit strong positional biases when making pairwise comparisons, and we propose debiasing methods that can further improve performance.

연구 동기 및 목표

• LLM를 사용한 제로샷 NLG 평가에서, 쌍별 비교가 절대 점수 예측보다 더 효과적인가를 조사하는 것.
• 중간 크기의 오픈소스 LLM을 사용하여 다양한 NLG 작업과 속성에 대해 쌍별 평가의 성능을 평가하는 것.
• LLM 기반 쌍별 비교에서 발생할 수 있는 위치 편향을 식별하고 이를 해결하는 것.
• 최소한의 비교로도 확장 가능하고 정확한 순위 매기기 성능을 달성하기 위한 부분 집합 비교 선택 전략의 효율성을 평가하는 것.
• 인간이 애너테이션한 기준 없이도 상태최강 또는 그에 준하는 성능을 달성할 수 있는가를 보여주는 것.

제안 방법

• LLM가 두 개의 NLG 출력을 비교하고 특정 속성(예: 일관성, 유창성)에 따라 더 나은 것을 선택하도록 하는 제로샷 프롬프팅 전략을 사용한다.
• 쌍별 비교 결과를 전이 추론 또는 정렬 알고리즘을 통해 순위로 변환하여 다수의 후보에 대한 전체 시스템 비교를 가능하게 한다.
• 후보 쌍의 순서를 뒤집고 예측값을 평균화하여 위치 편향을 줄이는 탈편향 기법을 구현한다.
• 비교 선택 전략(무작위, 반복 방지, 대칭적(양방향 비교))을 평가하여 계산 비용을 최소화하면서도 순위 정확도를 유지하는지 확인한다.
• 황금 표준 인간 평가 점수와의 비교를 위해 스피어만 상관계수와 쌍별 정확도 지표를 사용하여 순위 품질을 평가한다.
• SummEval을 포함한 다양한 NLG 벤치마크에서 일관성, 유창성, 관련성 등의 다양한 속성에 대해 프레임워크를 적용한다.

Figure 1: Prompt Scoring v.s. Comparative Assessment. Comparative Assessment prompts an LLM to compare candidates in a pairwise manner, and the comparisons are subsequently converted into scores or ranks.

실험 결과

연구 질문

• RQ1 중간 크기의 LLM을 사용할 때, 쌍별 비교 평가가 절대 점수 예측보다 제로샷 NLG 평가에서 더 우수한가?
• RQ2 LLM 비교에서 발생하는 위치 편향이 순위 성능에 어느 정도 영향을 미치며, 이를 효과적으로 완화할 수 있는가?
• RQ3 쌍별 비교의 부분 집합만을 사용할 경우 순위 매기기 과정은 얼마나 효율적인가? 어떤 선택 전략이 비용과 정확도 사이의 최적 균형을 이룹니까?
• RQ4 쌍별 평가가 다양한 NLG 속성과 작업에서 최신 자동 평가 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 다른 후보자 집합에서 LLM 기반 쌍별 비교는 얼마나 일관성 있는가? 더 많은 비교를 통해 자기 일관성이 향상되는가?

주요 결과

• FlanT5-xl 및 Llama2-chat과 같은 중간 크기의 LLM에서 쌍별 평가가 프롬프트 점수 부여보다 유의미하게 뛰어나며, 여러 NLG 속성에서 최고 수준 또는 그에 준하는 성능을 달성한다.
• 모든 작업에서 쌍별 비교 정확도는 60%에서 80% 사이였으며, 탈편향 기법이 특히 높은 편향 상황에서 정확도를 크게 향상시켰다.
• 자기 일관성 분석 결과, 16개의 요약 중 8개만으로도 전체 순위와 비교해 95.5%의 정확도를 달성하여, 적은 비교 수로도 뛰어난 안정성을 보였다.
• 대칭적 비교 선택 전략은 반복 방지를 위한 전략과 거의 동일한 성능을 보였지만 비교 횟수를 절반으로 줄여 더 효율적이었다.
• 탈편향 기법은 비교 수가 적을 경우 특히 뚜렷한 성능 향상을 가져왔으며, 이는 위치 편향의 영향력이 크다는 것을 시사한다.
• 제한된 비교 수(예: R < 100)에서도 높은 스피어만 상관계수(예: SummEval의 COH에서 >0.93)를 유지하여 확장성과 강인성을 입증했다.

Figure 2: Comparative prompt template 1 and 2. When assessing different attributes, only the attribute is changed (e.g., consistent $\rightarrow$ engaging) and for response assessment, the word ‘summary’ is replaced with ‘response’.