[논문 리뷰] Enhancing Chat Language Models by Scaling High-quality Instructional Conversations

Ning Ding, Yulin Chen외 7명|arXiv (Cornell University)|2023. 05. 23.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 인간의 쿼리 없이 반복적이고 GPT-4 기반 시뮬레이션을 통해 생성된 150만 건의 다중턴 지시 대화로 구성된 대규모, 다양한, 고품질 데이터셋인 UltraChat를 소개한다. UltraChat로 LLaMA-13B를 피니테이닝하면 UltraLLaMA를 얻을 수 있으며, 이는 GPT-4 평가 평균 점수 9.023 ± 0.952로 이전의 모든 오픈소스 모델, 특히 Vicuna를 능가한다.

ABSTRACT

Fine-tuning on instruction data has been widely validated as an effective practice for implementing chat language models like ChatGPT. Scaling the diversity and quality of such data, although straightforward, stands a great chance of leading to improved performance. This paper aims to improve the upper bound of open-source models further. We first provide a systematically designed, diverse, informative, large-scale dataset of instructional conversations, UltraChat, which does not involve human queries. Our objective is to capture the breadth of interactions that a human might have with an AI assistant and employs a comprehensive framework to generate multi-turn conversation iteratively. UltraChat contains 1.5 million high-quality multi-turn dialogues and covers a wide range of topics and instructions. Our statistical analysis of UltraChat reveals its superiority in various key metrics, including scale, average length, diversity, coherence, etc., solidifying its position as a leading open-source dataset. Building upon UltraChat, we fine-tune a LLaMA model to create a powerful conversational model, UltraLLaMA. Our evaluations indicate that UltraLLaMA consistently outperforms other open-source models, including Vicuna, the previously recognized state-of-the-art open-source model. The dataset and the model will be publicly released\footnote{\url{https://github.com/thunlp/UltraChat}}.

연구 동기 및 목표

• 오픈소스 채팅 언어 모델의 성능 한계를 극복하기 위해 고품질, 다양한 지시 데이터를 확장하는 것.
• 인간이 애너테이션한 쿼리 없이도 현실적이고 다중턴 지시 대화를 자동으로 생성할 수 있는 체계적인 프레임워크를 개발하는 것.
• 현재 최고 수준의 지시 따르기 및 대화 품질을 뛰어넘는 선도적인 오픈소스 데이터셋과 모델을 구축하는 것.
• 기존 지시 튜닝 접근 방식을 넘어서 데이터 품질과 다양성이 모델 성능에 미치는 영향을 조사하는 것.

제안 방법

• 인간-AI 상호작용 유형을 광범위하게 커버하기 위해 세계 지식, 창작/생성, 자료 지원의 세 부문으로 구성된 프레임워크를 설계했다.
• 두 개의 GPT-4 Turbo API를 반복적이고 역할을 바꾸는 방식으로 활용: 하나는 시뮬레이션된 사용자가 쿼리를 생성하고, 다른 하나는 응답을 생성한다.
• 문맥 내 프롬프트, 메타정보 삽입, 반복적 개선을 통해 대화의 규모와 품질, 다양성을 향상시켰다.
• 강한 일관성, 길이, 주제 다양성을 갖춘 150만 건의 고품질 다중턴 대화를 생성했다.
• UltraChat로 LLaMA-13B 모델을 피니테이닝하여 지시 따르기와 대화 유창성에 최적화된 UltraLLaMA를 훈련시켰다.
• 신뢰성 있고 인간 중심의 성능 평가를 확보하기 위해 GPT-4 기반 자동 점수 평가 및 선호도 비교를 사용해 모델을 평가했다.

실험 결과

연구 질문

• RQ1 고품질, 다양한 지시 대화 데이터를 확장하면 현재 최고 수준의 오픈소스 LLM 성능을 뛰어넘을 수 있는가?
• RQ2 합성된 지시 데이터의 품질과 구조는 인간 애너테이션된 데이터와 비교해 효과적인 채팅 모델 훈련에 얼마나 기여하는가?
• RQ3 반복적이고 GPT 기반의 데이터 생성 방식은 지시 따르기와 유사한 다중턴 대화를 얼마나 잘 생성할 수 있는가?
• RQ4 시스템 프롬프트 엔지니어링은 지시 튜닝된 모델의 응답 정보성과 품질에 어떤 영향을 미치는가?
• RQ5 애너테이션되지 않은 합성 데이터셋으로 훈련된 모델이 정제된 인간 애너테이션 지시 데이터셋으로 훈련된 모델를 능가할 수 있는가?

주요 결과

• UltraLLaMA는 GPT-4 평가 평균 점수 9.023 ± 0.952를 기록했으며, 이는 Vicuna(8.961 ± 0.718)와 모든 다른 오픈소스 모델을 능가했다.
• TruthfulQA 벤치마크에서 UltraLLaMA는 다중선택 과제에서 54%의 정확도를 기록해 Vicuna와 동등하거나 이를 초월했다.
• 특히 어려운 공통지식 및 세계 지식 질문에서 복잡한 추론과 사실 일관성 면에서 뛰어난 성능을 보였다.
• 시스템 프롬프트가 사실 정확도를 유지하면서도 응답의 정보성에 상당한 영향을 미쳤으며, 프롬프트 유무에 따른 비교 출력을 통해 이를 입증했다.
• 규모, 평균 대화 길이, 다양성, 일관성 면에서 기존 데이터셋을 뛰어넘어, 선도적인 오픈소스 자원으로서의 위치를 확립했다.
• 강력한 성능에도 불구하고 UltraLLaMA는 여전히 대규모 언어 모델에서 흔히 볼 수 있는 환각성과 윤리적 리스크를 보이며, 훈련 과정은 여전히 계산적으로 비용이 많이 든다.