[논문 리뷰] Llama 2: Open Foundation and Fine-Tuned Chat Models

Hugo Touvron, Louis Martin외 66명|arXiv (Cornell University)|2023. 07. 18.

Topic Modeling인용 수 2,594

한 줄 요약

논문은 Llama 2를 도입합니다. 이는 Llama 2-Chat을 포함한 공개 사전학습 및 미세조정된 LLM의 가족(7B에서 70B)을 포함하며, 향상된 데이터, 더 긴 컨텍스트, GQA, 대화를 위한 RLHF로 학습되어 공개 모델의 성능이 뛰어나고 안전성도 경쟁력 있게 유지됩니다.

ABSTRACT

In this work, we develop and release Llama 2, a collection of pretrained and fine-tuned large language models (LLMs) ranging in scale from 7 billion to 70 billion parameters. Our fine-tuned LLMs, called Llama 2-Chat, are optimized for dialogue use cases. Our models outperform open-source chat models on most benchmarks we tested, and based on our human evaluations for helpfulness and safety, may be a suitable substitute for closed-source models. We provide a detailed description of our approach to fine-tuning and safety improvements of Llama 2-Chat in order to enable the community to build on our work and contribute to the responsible development of LLMs.

연구 동기 및 목표

• 더 큰 데이터, 더 긴 컨텍스트, 확장 가능한 아키텍처를 갖춘 공개 사전학습 LLM 가족(Llama 2) Demonstrate.
• 대화에 최적화된 Llama 2-Chat를 만들기 위한 미세조정 기법(SFT, RLHF)을 선보이십시오.
• 데이터 오염을 줄이고 커뮤니티 사용을 위한 책임 있는 릴리스 전략을 제공하며 안전성을 강화합니다.

제안 방법

• 공개적으로 이용 가능한 데이터의 새로운 혼합, 2조 토큰, 더 큰 모델을 위한 4k 컨텍스트 길이, 그리고 Grouped-Query Attention (GQA)로 사전학습.
• 고품질 지시 데이터와 신중한 프롬프트/응답 목표를 갖춘 감독 학습 미세조정(SFT)을 포함한 미세조정.
• 큰 인간 선호 데이터 세트에서 학습된 Helpfulness 및 Safety 보상 모델을 사용한 인간 피드백 기반 강화 학습(RLHF) 적용.
• 다중턴 대화 흐름을 개선하기 위한 Ghost Attention(GAtt) 도입.
• 안전성을 평가하고 반복하기 위한 레드팀핑 및 안전 중심 데이터 주석 작업.
• 표준 벤치마크 및 인간 평가에서 Llama 2-Chat을 오픈소스 및 일부 비공개 baselines와 비교.

실험 결과

연구 질문

• RQ1 Llama 2와 같은 공개 LLM이 표준 벤치마크와 도움 및 안전성에 대한 인간 평가에서 비공개 모델과 어떻게 비교되는가?
• RQ2 대화에 대해 강력한 공개 LLM를 낳는 선학습 데이터, 모델 아키텍처 결정(예: 컨텍스트 길이, GQA) 및 미세조정 프로토콜은 무엇인가?
• RQ3 도움 및 안전성에 대한 별도의 보상 모델이 채팅 모델의 RLHF 결과를 향상시키는가?
• RQ4 책임 있는 공개 릴리스를 위한 어떤 안전 조치와 평가 절차가 효과적인가?

주요 결과

• Llama 2-Chat은 일반적으로 벤치마크에서 기존의 오픈 소스 채팅 모델을 능가하고 인간 평가에서 일부 비공개 모델과 경쟁력이 있습니다.
• Llama 2-70B는 MMLU 및 BBH 벤치마드에서 강력한 결과를 달성하였으며 특정 작업에서 일부 비공개 모델에 근접하나 완전히 능가하지는 못합니다.
• 이중 보상 모델 구성(Helpfulness RM 및 Safety RM)은 기저 모델들에 비해 더 우수한 보상 예측 및 RLHF 성능을 제공합니다.
• 저자들은 책임 있는 릴리스 전략, 데이터 오염 분석, 레드팀핑 결과 및 커뮤니티 기여를 가능하게 하는 공개적인 안전/정렬 프레임워크를 보고합니다.
• 오픈 릴리스는 재현의 장벽을 줄이고 안전한 배치를 권장하도록 구성되며, 애플리케이션에 대해 과제별 안전 시험을 권장합니다.