[논문 리뷰] Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation

John Mendonça, Patrícia Pereira외 4명|arXiv (Cornell University)|2023. 08. 31.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 간단한 프롬프팅을 활용한 대규모 언어 모델(LLM), 예를 들어 ChatGPT를 포함한 다국어 및 강건한 대화 평가 프레임워크를 제안한다. 이 프레임워크는 자기지도 학습 서브메트릭(예: NSP, MLM, VSP)과 앙상블 가중치를 결합한다. 이 프레임워크는 DSTC11 Track 4의 Robust 및 Multilingual 과제에서 최고 성능을 기록하여 이전 방법들보다 뚜렷한 격차를 확보하였다.

ABSTRACT

Despite significant research effort in the development of automatic dialogue evaluation metrics, little thought is given to evaluating dialogues other than in English. At the same time, ensuring metrics are invariant to semantically similar responses is also an overlooked topic. In order to achieve the desired properties of robustness and multilinguality for dialogue evaluation metrics, we propose a novel framework that takes advantage of the strengths of current evaluation models with the newly-established paradigm of prompting Large Language Models (LLMs). Empirical results show our framework achieves state of the art results in terms of mean Spearman correlation scores across several benchmarks and ranks first place on both the Robust and Multilingual tasks of the DSTC11 Track 4 "Automatic Evaluation Metrics for Open-Domain Dialogue Systems", proving the evaluation capabilities of prompted LLMs.

연구 동기 및 목표

• 기존 자동 평가 프레임워크에서 다국어 및 어휘 변형에 강건한 대화 평가 지표의 부족을 해결하기 위해.
• 최신 LLM, 특히 간단한 프롬프팅을 통해 기존의 인코더 기반 모델에 비해 더 나은 평가자 역할을 할 수 있는지 조사하기 위해.
• 다양한 언어와 어휘 변형된 응답에서도 인간 평가와 높은 상관관계를 유지하는 통합된 참조 없는 대화 평가 시스템을 개발하기 위해.
• 프롬프트 기반 LLM 평가가 강건성과 다국어성 측면에서 지도 학습, 자기지도 학습, 미세조정 기반 기준 모델을 초월할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 대화 응답의 특정 품질 측면을 타깃으로 하는 여러 서브메트릭—유효 문장 예측(VSP), 다음 문장 예측(NSP), 마스킹 언어 모델링(MLM), 참여도(ENG), ChatGPT—을 조합한다.
• 각 서브메트릭은 맥락, 응답, 품질 측면(예: 일관성, 관련성)으로 구성된 입력을 프롬프팅하고, 언어적 및 기능적 품질에 대한 LLM의 이해 기반으로 점수를 생성한다.
• 서브메트릭 점수는 품질 측면에 따라 가중치를 부여하고 앙상블하여 최종 대화 평가 점수를 도출함으로써 강건성과 다국어 일반화를 확보한다.
• ChatGPT는 제로샷 프롬프팅을 사용하고, 인코더 기반 서브메트릭은 미세조정된 자기지도 학습 목표를 활용하여 다양한 언어와 응답 변형 간의 호환성을 확보한다.
• 다양한 벤치마크, 특히 DSTC11의 자료를 기반으로 시스템을 훈련 및 평가하며, 어휘 변형에 대한 불변성과 다국어 간 전이 능력을 중점으로 한다.
• 최종 모델은 github.com/johndmendonca/DialEvalML에 오픈소스로 공개되며, 서브메트릭용 체크포인트와 코드가 포함되어 있다.

Figure 1: Proposed framework architecture. The Response , Context and Quality Aspect under evaluation are fed to the submetrics: VSP (Valid Sentence Prediction), NSP (Next Sentence Prediction), MLM (Masked Language Modelling), ENG (Engagement) and ChatGPT . Each submetric score is then weighted acco

실험 결과

연구 질문

• RQ1 ChatGPT와 같은 LLM의 단순한 프롬프팅이 미세조정 없이도 대화 평가에서 SOTA 성능을 달성할 수 있는가?
• RQ2 프롬프트된 LLM이 다국어 및 어휘 변형된 대화 입력에서 인간 평가와 얼마나 높은 상관관계를 유지할 수 있는가?
• RQ3 자기지도 작업 기반 서브메트릭 앙상블과 LLM 프롬프팅을 조합한 방법이 기존의 인코더 기반 모델에 비해 강건성과 다국어성 측면에서 어떻게 비교되는가?
• RQ4 LLM 기반 평가의 실패 모드는 무엇이며, 특히 콘텐츠의 풍부성과 적절성 평가에서 RLHF 기반 편향과 어떤 관련이 있는가?

주요 결과

• 제안된 프레임워크는 다양한 벤치마크에서 인간 평가와 가장 높은 평균 스피어만 상관계수를 기록하여 기존 자동 지표들을 압도하였다.
• DSTC11 Track 4의 Robust 및 Multilingual 과제에서 모두 1위를 기록하였으며, 강건성에 있어서는 턴 수준과 대화 수준 모두 1위였고, 다국어성에 있어서도 두 수준에서 모두 1위였다.
• ChatGPT만으로도 기존의 인코더 기반 모델을 초월하여 인간 평가와의 상관계수가 평균 3점 이상 높게 기록되었다.
• 강력한 성능에도 불구하고, ChatGPT는 '마리화나'와 같은 주제가 포함된 경우 응답 품질을 체계적으로 과소 평가하는 경향을 보였다. 이는 RLHF 기반의 안전성 선호 정책 때문일 가능성이 높다.
• 모델는 종종 콘텐츠의 풍부성와 관련성 간을 혼동하는 경향이 있었으며, 이는 품질 측면을 명확히 분리하기 위한 프롬프트 설계 개선이 필요함을 시사한다.
• 프롬프팅 기반의 LLM 평가가 인코더 기반 기준 모델의 수개월에 걸친 모델 커리레이션 및 훈련을 뛰어넘는 성능을 보였으며, 이는 대화 평가 분야의 패러다임 전환을 암시한다.