[논문 리뷰] AceGPT, Localizing Large Language Models in Arabic

Huang Huang, F. Richard Yu외 18명|arXiv (Cornell University)|2023. 09. 21.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 국지화된 사전 훈련, 현지 아랍어 지시에 기반한 감독형 미세조정, GPT-4가 생성한 아랍어 응답, 문화적으로 일치하는 보상 모델을 활용한 강화 학습을 통해 최첨단 성능을 달성한 오픈소스 아랍어 대규모 언어 모델(AceGPT)을 소개한다. AceGPT는 아랍어 비카나-80, 아랍어 알파카밸류에이프, 아랍어 MMLU, EXAMs, 그리고 새로운 아랍어 문화 및 가치 일치(ACVA) 벤치마크를 포함한 주요 벤치마크에서 기존 모델을 능가한다.

ABSTRACT

This paper is devoted to the development of a localized Large Language Model (LLM) specifically for Arabic, a language imbued with unique cultural characteristics inadequately addressed by current mainstream models. Significant concerns emerge when addressing cultural sensitivity and local values. To address this, the paper proposes a comprehensive solution that includes further pre-training with Arabic texts, Supervised Fine-Tuning (SFT) utilizing native Arabic instructions, and GPT-4 responses in Arabic, alongside Reinforcement Learning with AI Feedback (RLAIF) employing a reward model attuned to local culture and values. The goal is to cultivate culturally cognizant and value-aligned Arabic LLMs capable of accommodating the diverse, application-specific needs of Arabic-speaking communities. Comprehensive evaluations reveal that the resulting model, dubbed `AceGPT', sets the state-of-the-art standard for open Arabic LLMs across various benchmarks. Codes, data, and models are in https://github.com/FreedomIntelligence/AceGPT.

연구 동기 및 목표

• 주류 모델이 아랍어 문화적 규범과 가치와 일치하지 못하는 '국지화 문제'를 해결하기 위해.
• 사전 훈련, 감독형 미세조정, AI 피드백을 활용한 강화 학습을 포함하는 종합적인 오픈소스 파이프라인을 개발하기 위해.
• 아랍어 LLM에서 문화적 및 가치 일치 수준을 정량적으로 측정하기 위해 새로운 벤치마크인 ACVA를 도입하기 위해.
• 지시 수행, 지식, 문화적 일치 작업을 포함한 다양한 아랍어 NLP 벤치마크에서 최첨단 성능을 달성하기 위해.
• AceGPT와 그 보상 모델을 공개하여 아랍어 NLP 분야의 연구 및 개발를 지원하기 위해.

제안 방법

• AceGPT는 다양한 아랍어 텍스트 코퍼스를 대상으로 점진적인 사전 훈련을 통해 강력한 언어적 및 문화적 기반을 마련한다.
• 지시-응답 쌍을 사용한 감독형 미세조정을 통해 지시 수행 능력을 향상시킨다.
• 고품질의 아랍어 응답을 GPT-4를 통해 생성하여 고정밀도의 감독 신호를 확보하고 번역 오류를 방지한다.
• 아랍어 문화적 가치와 일치하는 인간 선호 데이터를 기반으로 훈련된 보상 모델을 사용하여 AI 피드백을 활용한 강화 학습(RLAIF)을 적용한다.
• 모든 벤치마크 작업에서 하이퍼파라미터를 베이지안 최적화를 통해 조정하면서 각 작업에 대해 완전히 감독된 방식으로 모델을 훈련시킨다.
• 문화적 및 가치 일치 수준을 평가하기 위해 새로운 벤치마크인 ACVA를 도입하여 문화적으로 관련 있는 실체와 적절한 지역적 참조의 존재 여부를 측정한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델을 아랍어 언어에 효과적으로 국지화하면서도 문화적 및 가치적 일치를 유지하는 방법은 무엇인가?
• RQ2 GPT-4가 생성한 아랍어 응답을 사용할 경우, 미세조정된 아랍어 LLM의 유창성과 문화적 관련성은 어느 정도 향상되는가?
• RQ3 문화적으로 기반을 둔 선호 데이터를 기반으로 훈련된 보상 모델이 LLM 출력에서 아랍어 문화 규범과의 일치성을 뚜렷이 향상시킬 수 있는가?
• RQ4 AceGPT는 지시 수행, 지식, 문화적 일치 작업을 포함한 다양한 벤치마크에서 기존 오픈소스 아랍어 LLM과 비교해 어떻게 성능을 냈는가?
• RQ5 RLAIF를 제거했을 경우 인간 평가에서 모델의 성능과 일치성에 어떤 영향을 미치는가?

주요 결과

• AceGPT는 아랍어 비카나-80 벤치마크에서 오픈소스 아랍어 LLM 중 최첨단 성능을 달성했으며, 벤치마크의 제한된 규모에도 불구하고 투르보를 능가한다.
• 아랍어 알파카밸류에이프 벤치마크에서 AceGPT-7B-chat은 이전 최첨단 아랍어 LLM인 Sengupta 등(2023) 대비 30% 향상된 성능을 기록했다.
• 아랍어 MMLU 및 EXAMs 지식 벤치마크에서 AceGPT는 오픈소스 모델 중 최첨단 성능을 기록했으며, 강력한 사실 지식 유지 능력을 보였다.
• 최근 도입된 ACVA 벤치마크에서 AceGPT는 최첨단 성능을 기록하여 아랍어 문화 및 가치 규범과의 강력한 일치성을 보였다.
• 인간 평가 결과, AceGPT-13B-chat은 68%의 비교에서 자이스-13B-chat을 이겼으며(자원봉사자 1), AceGPT-7B-chat은 66%의 비교에서 투르보를 이겼다.
• RLAIF를 제거했을 경우 성능이 뚜렷이 저하되었으며, AceGPT-7B-chat(비-RLAIF)는 자원봉사자 3의 평가에서 74%의 비교에서 투르보에게 지는 결과를 보였다. 이는 보상 모델링이 일치성 확보에 있어 핵심적인 역할을 한다는 점을 시사한다.