[논문 리뷰] Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

Yunjie Ji, Yan Gong외 5명|arXiv (Cornell University)|2023. 04. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 중국어 언어 모델에서 지시 수행 성능에 영향을 미치는 훈련 데이터의 양, 품질, 언어적 분포를 조사한다. 정제된 지시 데이터 세트에서 추출한 34억 개의 중국어 단어를 기반으로 LLaMA의 어휘를 확장하고, 이를 미세조정함으로써 훈련 및 추론 시간을 60% 감소시키면서도 뛰어난 성능을 유지하였다. 또한 모델, 데이터, 코드를 공개하여 오픈소스 중국어 대화형 AI의 발전을 이끌었다.

ABSTRACT

Recently, significant public efforts have been directed towards developing low-cost models with capabilities akin to ChatGPT, thereby fostering the growth of open-source conversational models. However, there remains a scarcity of comprehensive and in-depth evaluations of these models' performance. In this study, we examine the influence of training data factors, including quantity, quality, and linguistic distribution, on model performance. Our analysis is grounded in several publicly accessible, high-quality instruction datasets, as well as our own Chinese multi-turn conversations. We assess various models using a evaluation set of 1,000 samples, encompassing nine real-world scenarios. Our goal is to supplement manual evaluations with quantitative analyses, offering valuable insights for the continued advancement of open-source chat models. Furthermore, to enhance the performance and training and inference efficiency of models in the Chinese domain, we extend the vocabulary of LLaMA - the model with the closest open-source performance to proprietary language models like GPT-3 - and conduct secondary pre-training on 3.4B Chinese words. We make our model, data, as well as code publicly available.

연구 동기 및 목표

• 훈련 데이터의 요소—양, 품질, 언어적 분포—가 중국어 언어 모델의 지시 수행 성능에 미치는 영향을 조사하는 것.
• 다양한 실제 시나리오를 아우르는 9개의 실제 상황에서 1,000개의 중국어 지시 샘플로 구성된 종합적이고 다양한 균형 잡힌 평가 세트를 개발하여 모델 간 정량적 비교를 가능하게 하는 것.
• 어휘 확장과 재전훈련을 통해 LLaMA 기반 모델의 중국어 언어 영역에서의 효율성과 성능을 향상시키는 것.
• 오픈소스 중국어 LLM 개발 분야에서 체계적이고 대규모 평가의 부족을 해결하기 위해 공개 가능한 벤치마크와 모델을 제공하는 것.
• 오픈소스 라이선스 하에 훈련된 모델, 훈련 데이터, 코드를 공개하여 재현 가능성과 커뮤니티의 진전을 촉진하는 것.

제안 방법

• 중국어 서브워드 유닛과 도메인 전용 토큰을 LLaMA 어휘에 통합하여 중국어 언어 모델링의 효율성을 향상시켰다.
• 공개된 고품질 지시 데이터 세트와 자체 제작한 다중턴 중국어 대화 데이터에서 추출한 34억 개의 중국어 단어를 기반으로 재전훈련을 수행했다.
• Alpaca 스타일, ShareGPT, Belle-3.5 데이터 세트를 포함한 지시 데이터의 조합을 사용하여 전체 파라미터 미세조정을 수행했다.
• 모델 성능을 평가하기 위해 9개의 실제 사용자 시나리오를 아우르는 1,000개 샘플의 평가 세트를 구성했다.
• 자동 평가(GPT-4 평가)와 인간 평가를 병행하여 모델 출력을 검증하였으며, 응답 품질과 일관성에 대해 분석했다.
• 반복을 줄이기 위해 추론 시 낮은 온도(0.001)를 사용하였고, 온도의 영향을 평가하기 위해 아블레이션 연구를 수행했다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 양과 품질의 변동이 중국어 LLM의 지시 수행 성능에 미치는 영향은 무엇인가?
• RQ2 훈련 데이터의 언어적 분포와 도메인 다양성이 실제 시나리오 전반에서의 모델 일반화 능력에 미치는 영향은 무엇인가?
• RQ3 LLaMA의 어휘를 확장하고 중국어 코퍼스에서 재전훈련을 수행할 경우, 중국어 작업에서의 모델 효율성과 성능 향상 정도는 어느 정도인가?
• RQ4 오픈소스 중국어 지시 수행 모델은 ChatGPT와 같은 전용 모델에 비해 얼마나 잘 일반화되는가, 그리고 주요 실패 유형은 무엇인가?
• RQ5 균형 잡히고 다양한 1,000개 샘플의 평가 세트는 모델 간 신뢰할 수 있고 의미 있는 성능 비교를 제공할 수 있는가?

주요 결과

• LLaMA의 어휘를 확장하고 34억 개의 중국어 단어를 기반으로 재전훈련함으로써 훈련 및 추론 시간을 60% 감소시켰지만 성능에 손상이 없었다.
• Alpaca, ShareGPT, Belle-3.5 지시 데이터의 조합으로 미세조정된 모델은 다양한 지시 유형에서 뛰어난 성능을 보였지만, 모든 경우에서 GPT-4에 미치지 못했다.
• 모델의 응답은 GPT-4가 생성한 데이터나 다중턴 대화 데이터가 훈련에 포함되어 있어 더 길고 더 압축되지 않은 형태를 띠는 경향을 보였다.
• 평가 세트에서 높은 점수를 기록했음에도 불구하고 사례 분석 결과, 지표 성능와 실제 사용자 경험 사이에 괴리가 존재함을 확인하여 평가 세트의 포괄성에 한계가 있음을 시사했다.
• 생성 온도를 0.001에서 0.5로 상향 조정함으로써 응답 다양성이 크게 향상되었으며, 이는 낮은 온도 설정이 반복을 유도할 수 있음을 시사한다.
• 평가 세트는 다양성은 있었지만 충분히 포괄적이지 못했다—과도하게 쉬운 또는 어려운 예시가 성능 비교를 왜곡할 수 있었으며, 더 균형 잡히고 대규모의 벤치마크가 필요함을 강조했다.