[논문 리뷰] Understanding the Effectiveness of Very Large Language Models on Dialog Evaluation

Jessica Huynh, Cathy Jiao외 5명|arXiv (Cornell University)|2023. 01. 27.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 소수의 예시와 제로샷 설정에서 매우 큰 언어 모델(Large Language Models, LLMs)의 대화 평가 성능을 조사하며, 지시 편율화 및 대화 전용 미세조정을 거친 LLMs가 일반 목적 모델보다 뛰어난 성능을 보임을 입증한다. 주요 발견은 예시 선택 전략과 모델 사전 훈련 데이터의 다양성이 성능에 크게 영향을 미치며, InstructGPT가 여러 대화 평가 지표에서 가장 뛰어난 성능을 기록했다.

ABSTRACT

Language models have steadily increased in size over the past few years. They achieve a high level of performance on various natural language processing (NLP) tasks such as question answering and summarization. Large language models (LLMs) have been used for generation and can now output human-like text. Due to this, there are other downstream tasks in the realm of dialog that can now harness the LLMs' language understanding capabilities. Dialog evaluation is one task that this paper will explore. It concentrates on prompting with LLMs: BLOOM, OPT, GPT-3, Flan-T5, InstructDial and TNLGv2. The paper shows that the choice of datasets used for training a model contributes to how well it performs on a task as well as on how the prompt should be structured. Specifically, the more diverse and relevant the group of datasets that a model is trained on, the better dialog evaluation performs. This paper also investigates how the number of examples in the prompt and the type of example selection used affect the model's performance.

연구 동기 및 목표

• 소수의 예시와 제로샷 설정에서 매우 큰 언어 모델(Large Language Models, LLMs)의 정밀한 대화 평가 성능을 평가하기 위해.
• 모델 아키텍처, 크기, 사전 훈련 데이터가 LLM의 대화 평가 작업 성능에 미치는 영향을 조사하기 위해.
• 문맥 내 예시 선택 전략(예: 랜덤, BM25, 유사도 기반)이 평가 정확도에 미치는 영향을 분석하기 위해.
• 유창성, 일관성, 일관성, 관련성과 같은 지표에서 다양한 대화 데이터셋에 걸쳐 LLM의 일반화 능력을 평가하기 위해.
• 강력한 자동 대화 평가를 위한 최적의 프롬프팅 전략과 모델 특성 식별하기 위해.

제안 방법

• 여러 대화 평가 벤치마크에서 BLOOM, OPT, GPT-3, Flan-T5, InstructDial, TNLGv2의 6개 LLM을 평가하였다.
• 4개의 문맥 내 예시를 사용한 제로샷 및 소수의 예시 프롬프팅을 적용하였으며, 문맥 전용 또는 문맥과 응답 예시를 함께 사용하였다.
• 랜덤 샘플링, BM25 검색, 문맥 또는 응답 기반의 유사도 기반 선택과 같은 예시 선택 전략을 활용하였다.
• 턴 수준(관련성, 유창성) 및 대화 수준(일관성, 흐름) 평가 지표를 위해 인간이 애너테이션한 데이터셋을 사용하였다.
• 인간 평가와의 상관관계(예: 피어슨 상관계수, F1 점수)를 사용해 데이터셋 간 모델 성능을 비교하였다.
• 모델 크기와 사전 훈련 데이터의 다양성이 다양한 도메인에서 제로샷 및 소수의 예시 일반화에 미치는 영향을 분석하였다.

Figure 1: Large Language Models, comparison of select approximate sizes

실험 결과

연구 질문

• RQ1 다양한 데이터셋에서 다양한 LLM 아키텍처와 크기의 성능은 제로샷 및 소수의 예시 설정에서 어떻게 나타나는가?
• RQ2 문맥 내 예시 선택 전략(랜덤, BM25, 유사도 기반)이 대화 평가에서 LLM 성능에 어떤 영향을 미치는가?
• RQ3 사전 훈련 데이터의 다양성과 관련성은 LLM의 대화 평가 작업에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 어느 프롬프팅 전략(예: 문맥 전용 대비 문맥과 응답 예시 포함)이 인간 평가와 가장 높은 상관관계를 보이는가?
• RQ5 지시 편율화 또는 대화 전용 미세조정을 거친 모델가 일반 목적 LLM보다 대화 평가에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• InstructGPT(text-davinci-002)는 모든 데이터셋과 지표에서 가장 높은 성능을 기록하였으며, 일반 목적 모델과 더 작은 모델을 모두 압도하였다.
• Flan-T5와 InstructDial는 강력한 제로샷 성능을 보였으며, 각각 6개와 5개의 8개 데이터셋에서 베이스라인을 초월하여 지시 편율화의 효과를 입증하였다.
• EG 데이터셋에서는 문맥과 응답 기반 예시 선택 전략이 성능 향상에 기여하였고, 530B TNLGv2 모델의 경우 DGR와 EG에서 랜덤 선택 전략이 알고리즘 기반 선택 전략보다 성능이 뛰어났다.
• 다양하고 대화에 관련된 코퍼스(예: TNLGv2, InstructDial)에서 훈련된 모델는 넓은 인터넷 데이터만으로 훈련된 모델보다 다양한 도메인에서 더 나은 일반화 능력을 보였다.
• 530B TNLGv2 모델는 특히 소수의 예시 설정에서 뛰어난 성능을 기록하였으며, 더 큰 모델 크기가 평가 능력 향상에 기여함을 보여주었다.
• 작은 크기의 지시 편율화 모델인 Flan-T5와 InstructDial는 더 큰 비미세조정 모델(예: BLOOM, OPT)보다 자주 뛰어난 성능을 보였으며, 이는 과제에 특화된 적응의 중요성을 강조한다.