[논문 리뷰] Which is better? Exploring Prompting Strategy For LLM-based Metrics

Joonghoon Kim, So-Yun Park외 5명|arXiv (Cornell University)|2023. 11. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어 생성(NLG) 평가 지표로 개방형 LLM을 사용하는 데 있어 프롬프팅 전략을 조사한다. 인간과 모델이 생성한 지침 템플릿, 점수 정밀도, 예시를 포함한 문맥 학습, 집계 방법을 비교한다. 모델이 안내하는 프롬프팅과 0–100 점수 척도가 전통적인 1–5 척도보다 인간 평가와 더 높은 상관관계를 보이며, 추론 과정 생성이 설명 가능성에 기여함을 발견한다.

ABSTRACT

This paper describes the DSBA submissions to the Prompting Large Language Models as Explainable Metrics shared task, where systems were submitted to two tracks: small and large summarization tracks. With advanced Large Language Models (LLMs) such as GPT-4, evaluating the quality of Natural Language Generation (NLG) has become increasingly paramount. Traditional similarity-based metrics such as BLEU and ROUGE have shown to misalign with human evaluation and are ill-suited for open-ended generation tasks. To address this issue, we explore the potential capability of LLM-based metrics, especially leveraging open-source LLMs. In this study, wide range of prompts and prompting techniques are systematically analyzed with three approaches: prompting strategy, score aggregation, and explainability. Our research focuses on formulating effective prompt templates, determining the granularity of NLG quality scores and assessing the impact of in-context examples on LLM-based evaluation. Furthermore, three aggregation strategies are compared to identify the most reliable method for aggregating NLG quality scores. To examine explainability, we devise a strategy that generates rationales for the scores and analyzes the characteristics of the explanation produced by the open-source LLMs. Extensive experiments provide insights regarding evaluation capabilities of open-source LLMs and suggest effective prompting strategies.

연구 동기 및 목표

• 개방형 NLG 작업에서 전통적 지표(예: BLEU, ROUGE)와 인간 평가 간의 괴리 문제를 해결한다.
• 개방형 LLM을 자동 평가 지표로 사용하는 것의 가능성과 효과성을 조사한다.
• LLM 기반 평가에 있어 프롬프팅 전략, 점수 정밀도, 문맥 학습, 집계 기법을 체계적으로 비교한다.
• 개방형 모델을 사용해 점수에 대한 추론 과정을 생성함으로써 LLM 기반 지표의 설명 가능성과 투명성을 향상시킨다.
• 신뢰성 있고 재현 가능하며 설명 가능한 NLG 평가 도구로 개방형 LLM을 구현하기 위한 실용적 지침을 제공한다.

제안 방법

• 인간 평가자 지침에 기반한 인간 지침(HG) 프롬프팅과 LLM이 생성한 지침(MG) 프롬프팅을 설계하고 비교한다.
• 1–5 척도와 0–100 척도를 사용해 점수 정밀도를 평가하여 인간 평가와의 상관관계에 미치는 영향을 분석한다.
• 다양한 종류의 문맥 예시(예: 소수의 예시 제공)를 포함한 문맥 학습(ICL)을 테스트하여 LLM 평가 일관성에 미치는 영향을 평가한다.
• 다중 LLM 실행에서의 평균, 중앙값, 가중 평균을 포함한 세 가지 점수 집계 전략을 비교한다.
• LLM을 사용해 점수에 대한 추론 과정을 생성함으로써 설명 가능성 향상과 동시에 이러한 설명의 품질과 일관성을 분석한다.
• 최고 성능을 보인 프롬프팅 설정을 Eval4NLP 2023 공동 과제의 테스트 세트(요약 작업)에 적용하여 소형 및 대형 트랙 벤치마크에서 성능을 보고한다.

Figure 1: Examples of Human Guideline (HG) prompt and Model Guideline (MG) prompt. HG prompt and MG prompt consists of task description, evaluation criteria, and evaluation steps. The HG prompt is used as the annotation guideline for summarization evaluation, serving as the basis for human annotator

실험 결과

연구 질문

• RQ1 인간이 생성한 지침 템플릿과 모델이 생성한 지침 템플릿은 LLM 기반 지표의 인간 평가와의 상관관계에 어떻게 영향을 미치는가?
• RQ2 LLM 기반 NLG 평가에서 최적의 점수 정밀도(예: 1–5 대비 0–100)는 무엇인가?
• RQ3 예시를 포함한 문맥 학습이 LLM 기반 평가의 신뢰성과 일관성에 얼마나 기여하는가?
• RQ4 평균, 중앙값, 가중 평균 중 어떤 점수 집계 전략이 가장 안정적이고 인간 평가와 상관관계가 높은가?
• RQ5 개방형 LLM이 인간 평가 기준과 일치하는 의미 있고 일관된 추론 과정을 생성할 수 있는가?

주요 결과

• 모델이 안내하는 프롬프팅(MG)이 인간이 안내하는 프롬프팅(HG)보다 인간 평가와의 상관관계에서 뛰어나며, 특히 0–100 점수 척도를 사용할 경우 더욱 두드러진다.
• 0–100 점수 척도가 1–5 척도보다 인간 평가와의 상관관계를 크게 향상시키며, 더 세밀한 점수 척도가 지표의 신뢰성을 높임을 시사한다.
• 문맥 예시(ICL)의 포함은 평가 일관성을 향상시키며, 특히 평가 기준의 핵심 요소를 반영하도록 정교하게 선택된 예시일 경우 더욱 효과적이다.
• 중앙값 또는 가중 평균 집계 방식이 단순 평균 집계보다 더 안정적이고 인간 평가와의 상관관계가 높은 결과를 낳는다.
• 개방형 LLM이 생성한 추론 과정은 논리적이고 일관되며, 인간 평가 기준과 일치하는 해석 가능한 근거를 제공한다.
• 최고 성능을 보인 프롬프팅 설정은 Eval4NLP 2023 공동 과제에서 경쟁적인 성능을 기록하여, 개방형 LLM이 효과적이고 설명 가능한 NLG 평가 지표로 활용될 수 있음을 입증한다.

Figure 2: (a) Left - Score Aggregation An example of how the Score Aggregation is calculated. ‘Direct’ uses scores directly generated by the model, ‘Logprob’ uses a weighted summation based on generation probabilities of pre-defined scores (e.g. 1 to 5), and ‘Approximation’ uses an average from N sa