Skip to main content
QUICK REVIEW

[논문 리뷰] Jais and Jais-chat: Arabic-Centric Foundation and Instruction-Tuned Open Generative Large Language Models

Neha Sengupta, Sunil Kumar Sahu|arXiv (Cornell University)|2023. 08. 30.
Topic ModelingComputer Science인용 수 22
한 줄 요약

이 논문은 Jais (13B Arabic-centric decoder-only LLM)와 그 instruction-tuned variant Jais-chat를 소개하며, 아랍어와 영어 데이터를 혼합한 혼합 데이터로 학습되었고 코드가 함께 제공되어 강력한 아랍어 성능과 경쟁력 있는 영어 결과를 보여주며 연구를 위한 공개 릴리스를 제공한다.

ABSTRACT

We introduce Jais and Jais-chat, new state-of-the-art Arabic-centric foundation and instruction-tuned open generative large language models (LLMs). The models are based on the GPT-3 decoder-only architecture and are pretrained on a mixture of Arabic and English texts, including source code in various programming languages. With 13 billion parameters, they demonstrate better knowledge and reasoning capabilities in Arabic than any existing open Arabic and multilingual models by a sizable margin, based on extensive evaluation. Moreover, the models are competitive in English compared to English-centric open models of similar size, despite being trained on much less English data. We provide a detailed description of the training, the tuning, the safety alignment, and the evaluation of the models. We release two open versions of the model -- the foundation Jais model, and an instruction-tuned Jais-chat variant -- with the aim of promoting research on Arabic LLMs. Available at https://huggingface.co/inception-mbzuai/jais-13b-chat

연구 동기 및 목표

  • LLMs에서 아랍어의 저대표현 문제를 해결하기 위해 아랍어 중심의 기초 모델을 구축한다.
  • 특정 모델 크기에서 아랍어와 영어 데이터를 혼합하면 아랍어 성능이 더 좋아질 수 있음을 증명한다.
  • 안전 지향적 미세조정과 대화에 친화적인 인터페이스를 갖춘 instruction-tuned 변형(Jais-chat)을 개발한다.
  • 아랍어 NLP 연구와 책임 있는 배포를 촉진하기 위해 모델의 오픈 버전을 공개한다.
  • 광범위한 벤치마크에서 아랍어와 영어 능력을 평가하고 데이터, 안전성, 편향에 대해 논의한다.

제안 방법

  • Arabic와 English 데이터 및 프로그래밍 코드의 혼합으로 13B 디코더-온리 트랜스포머(Jais)를 사전 학습한다.
  • 다중언어 균형을 맞추기 위해 동일 언어 노출을 가진 맞춤형 Arabic-English 토크나이저(Jais tokenizer)를 사용한다.
  • 긴 컨텍스트 외삽을 개선하기 위해 ALiBi 위치 인코딩을 채택하고 SwiGLU 활성화를 사용해 성능을 향상시킨다.
  • 최대 업데이트 매개변수화(MµP)를 적용해 하이퍼파라미터 선택의 방향성을 최종 모델에 전달한다.
  • 대규모 혼합 데이터셋(아랍어 72B 토큰을 보강/상향 샘플링으로 116B = 아랍어 비율 29%, 영어 232B, 코드 46B, 총 395B 토큰)을 기반으로 학습하고 Cerebras CG-1 환경에 분산 배치한다.
  • 추가 안전 프롬프트와 외부 분류기를 포함하여 3.6M 아랍어 및 6M 영어 지시-응답 쌍에 대해 instruction-tuned 변형(Jais-chat)을 미세조정한다.

실험 결과

연구 질문

  • RQ1bilingual Arabic–English 훈련 혼합이 13B 매개변수에서 아랍어 능력과 추론에 대해 Arabic-only 모델과 비교해 어떤 영향을 미치는가?
  • RQ2아랍어 중심의 LLM이 영어 데이터가 영어 중심 모델에 비해 제한적임에도 영어에서 경쟁력 있는 성능을 달성할 수 있는가?
  • RQ3지시-미세조정과 안전 정렬이 아랍어 LLM의 사용성 및 위험 완화에 어떤 영향을 미치는가?
  • RQ4사전처리, 토크나이저 설계, 및 아키텍처 선택(ALiBi, SwiGLU, µP)이 아랍어 언어 모델링 품질에 어떤 영향을 미치는가?
  • RQ5오픈 아랍어 LLM 공개의 안전성과 편향 완화 측면에서의 트레이드오프와 요건은 무엇인가?

주요 결과

  • Jais는 비슷한 크기의 공개 아랍어 및 다국어 모델에 비해 아랍어 지식 및 추론에서 상당한 차이로 우수한 성능을 보인다.
  • Jais는 사전학습 중 영어 데이터가 크게 적은 상황에서도 영어에서 경쟁력 있다.
  • 1:2의 아랍어–영어 데이터 혼합은 13B 모델에서 아랍어 전용 학습보다 더 나은 성능을 보이며, 이 규모에서의 다국어 전이가 이점임을 시사한다.
  • 13B Jais 모델은 실험에서 30B 아랍어-전용 모델을 능가하여 데이터 혼합 및 아키텍처 선택의 효율성 향상을 강조한다.
  • Jais와 Jais-chat은 연구 및 개발을 촉진하기 위해 공개되며, 안전 조치가 함께 설명되어 있다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.