[논문 리뷰] Camoscio: an Italian Instruction-tuned LLaMA

Andrea Santilli, Emanuele Rodolà|arXiv (Cornell University)|2023. 07. 31.

Topic ModelingComputer Science인용 수 3

한 줄 요약

Camoscio는 GPT-3.5를 통해 영어 지침 쌍 52,000개를 번역한 데이터셋을 기반으로 LoRA를 사용해 피inery드된 7B 파라미터 지침 튜닝 LLaMA 모델이다. 이 모델은 이탈리아어 자연어 처리 작업에서 뛰어난 제로샷 성능을 보이며, NewsSum-IT, SQuAD-IT, XFORMAL-IT와 같은 벤치마크에서 전문 모델을 능가하고, 모든 자료는 CC BY 4.0 라이선스 하에 공개되어 이탈리아어 자연어 처리 연구를 지원한다.

ABSTRACT

In recent years Large Language Models (LLMs) have increased the state of the art on several natural language processing tasks. However, their accessibility is often limited to paid API services, posing challenges for researchers in conducting extensive investigations. On the other hand, while some open-source models have been proposed by the community, they are typically English-centric or multilingual without a specific adaptation for the Italian language. In an effort to democratize the available and open resources for the Italian language, in this paper we introduce Camoscio: a language model specifically tuned to follow users' prompts in Italian. Specifically, we finetuned the smallest variant of LLaMA (7b) with LoRA on a corpus of instruction prompts translated to Italian via ChatGPT. Results indicate that the model's zero-shot performance on various downstream tasks in Italian competes favorably with existing models specifically finetuned for those tasks. All the artifacts (code, dataset, model) are released to the community at the following url: https://github.com/teelinsan/camoscio

연구 동기 및 목표

• 이탈리아어 전용 지침 튜닝 대규모 언어 모델의 부족을 해결하기 위해 이탈리아어를 위한 전용 모델을 개발한다.
• 이탈리아어에 특화된 지침 데이터를 사용해 LLaMA를 피inery드하여 이탈리아어 하류 자연어 처리 작업에서 제로샷 성능을 향상시킨다.
• CC BY 4.0 라이선스 하에 모델, 데이터셋, 코드를 공개하여 이탈리아어 자연어 처리를 위한 강력한 언어 모델에 대한 접근성을 확대한다.
• 영어 지침 데이터를 번역한 자료를 사용해 지시 튜닝을 수행할 경우, 자원이 적은 언어인 이탈리아어에서도 경쟁 가능한 성능을 달성할 수 있음을 보여준다.
• API 접근이 제한되는 개인정보 민감도가 높은 도메인에서 연구를 지원할 수 있는 커뮤니티 자원을 제공한다.

제안 방법

• 지침 수용을 위한 파라미터 효율적인 피inery드 기법인 LoRA를 사용하여 가장 작은 LLaMA 버전(7B 파라미터)을 피inery드한다.
• Stanford Alpaca 데이터셋의 영어 지침-출력 쌍 52,000개를 GPT-3.5를 통해 이탈리아어로 번역하여 새로운 이탈리아어 지침 튜닝 데이터셋을 구축한다.
• 번역된 데이터셋을 사용해 LLaMA 모델을 지침 튜닝하여 이탈리아어 자연어 프롬프트를 이해하고 따라갈 수 있도록 한다.
• 추가 피inery드 없이도 다양한 이탈리아어 벤치마크에서 제로샷 성능을 평가한다.
• 모델 가중치, 학습 코드, 전체 지침 데이터셋을 GitHub에 공개하여 CC BY 4.0 라이선스 하에 배포한다.
• 지시 튜닝된 대규모 언어 모델의 뛰어난 제로샷 일반화 능력을 활용해 다양한 이탈리아어 자연어 처리 작업에서 경쟁 가능한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 번역된 지침 데이터를 기반으로 훈련된 피inery드된 LLaMA 모델이 이탈리아어 자연어 처리 작업에서 뛰어난 제로샷 성능을 달성할 수 있는가?
• RQ2 이탈리아어를 위한 지시 튜닝된 LLaMA 모델은 기존의 전용 또는 다국어 모델과 비교해 하류 작업 성능에서 어떻게 다른가?
• RQ3 파라미터 효율적인 피inery드 기법(LoRA)을 사용할 경우, 일반 소비자 수준의 하드웨어에서도 고성능 이탈리아어 LLM을 학습시킬 수 있는가?
• RQ4 GPT-3.5를 통해 영어 지침 데이터를 번역하면 이탈리아어용 고품질, 사용 가능한 지침 데이터셋을 얻을 수 있는가?
• RQ5 고성능 이탈리아어 지시 튜닝 대규모 언어 모델을 오픈소스로 제공할 경우, API 접근이 제한되는 개인정보 민감도가 높은 도메인에서의 연구를 지원할 수 있는가?

주요 결과

• Camoscio는 NewsSum-IT 벤치마크에서 경쟁적인 제로샷 성능을 보이며, 요약 작업에 특화된 모델을 능가한다.
• SQuAD-IT 질의응답 벤치마크에서 Camoscio는 사실 정확도가 높은 답변을 생성하여 전문 모델과 동등하거나 그 이상의 성능을 보인다.
• XFORMAL-IT 텍스트 스타일 전이 작업에서 Camoscio는 공식어를 비공식어, 비공식어를 공식어로 변환하는 데 성공하여 강력한 언어 제어 능력을 보여준다.
• 모든 평가된 벤치마크에서 기존의 다국어 모델인 BLOOM과 LLaMA와 비교해도 성능이 유사하거나 뛰어나며, 더 작은 언어 전용 데이터셋으로 피inery드된 점을 감안할 때 놀라운 성능을 기록한다.
• LoRA의 사용 덕분에 소비자 수준의 하드웨어에서도 7B 파라미터 모델의 효과적인 피inery드가 가능했으며, 확장성과 효율성을 입증한다.
• 모델 가중치, 학습 코드, 전체 이탈리아어 지침 데이터셋이 모두 공개되어 재현 가능성과 커뮤니티 기반의 후속 개발을 가능하게 한다.