[논문 리뷰] Tamil-Llama: A New Tamil Language Model Based on Llama 2

Anitha Balachandran|arXiv (Cornell University)|2023. 11. 10.

Topic Modeling인용 수 8

한 줄 요약

요지: LLaMA 2를 16k 타밀 토큰으로 확장하고 LoRA를 활용한 효율적 학습을 수행하며 타밀 중심의 Alpaca/OpenOrca 지시 데이터셋을 공개하여 타밀 생성을 개선하고 이해도를 높인다.

ABSTRACT

Language modeling has witnessed remarkable advancements in recent years, with Large Language Models (LLMs) like ChatGPT setting unparalleled benchmarks in human-like text generation. However, a prevailing limitation is the underrepresentation of languages like Tamil in these cutting-edge models, leading to suboptimal performance in diverse linguistic contexts. This paper addresses this lacuna, enhancing the open-source LLaMA model with an addition of 16,000 Tamil tokens, aiming to achieve superior text generation and comprehension in the Tamil language. We strategically employ the LoRA methodology for efficient model training on a comprehensive Tamil corpus, ensuring computational feasibility and model robustness. Moreover, we introduce a Tamil-translated version of the Alpaca dataset and a subset of the OpenOrca dataset tailored for instruction fine-tuning. Our results showcase significant performance improvements in Tamil text generation, with potential implications for the broader landscape of LLMs in Indian languages. We further underscore our commitment to open research by making our models, datasets, and code publicly accessible, fostering further innovations in language modeling.

연구 동기 및 목표

• 오픈 소스 LLM에서 타밀의 저대표성 문제를 해결하기 위해 LLaMA 2 어휘에 타밀 토큰을 추가한다.
• 타밀 말뭉치를 사용하여 LoRA를 활용한 타밀-LLaMA 모델을 효율적으로 학습한다.
• 타밀 번역 Alpaca 및 OpenOrca 지시 데이터셋을 만들어 타밀 미세조정을 수행한다.
• 타밀-LLaMA를 지시 따름, 추론, 번역 및 자연어 이해(NLU) 태스크에서 평가하여 기준 모델에 비해 성능 향상을 입증한다.

제안 방법

• 타밀 SentencePiece 토크나이저를 사용하여 16,000개의 타밀 토큰을 추가해 LLaMA 2 어휘를 확장한다.
• 원래의 32,000-token 어휘와 16,000 타밀 토큰을 합쳐 48,000-token 어휘를 형성한다.
• fp16 및 LoRA 어댑터를 사용해 타밀 코퍼스(구성에 따라 6–12 GB 범위)에서 조건부 언어 모델링으로 선행 학습한다.
• LoRA를 이용해 FP16으로 Alpaca 및 OpenOrca 번역 데이터셋과 타밀 위키피디아 파생 데이터셋을 추가로 사용해 지시 지향 모델을 미세 조정한다.
• GPT-4 기반 평가와 함께 수작업 리뷰를 더해 120개 이상의 타밀 지시 프롬프트에서 평가한다.
• 7B 및 13B 타밀-LLaMA 모델을 다양한 작업에서 gpt-3.5-turbo와 비교한다.

실험 결과

연구 질문

• RQ1 타밀 토큰 16,000개를 LLaMA 2에 추가하는 것이 타밀 텍스트 생성 및 이해를 크게 개선할 수 있는가?
• RQ2 LoRA 기반의 사전 학습 및 미세 조정이 지시-위주 작업에 적합한 효율적이고 견고한 타밀-LLaMA 모델로 이어지는가?
• RQ3 타밀 번역 Alpaca 및 OpenOrca 데이터셋이 기준 모델과 비교해 타밀 지시 미세조정 결과를 개선하는가?
• RQ4 타밀-LLaMA 모델은 영어 중심의 LLaMA 변형에 비해 타밀 NLU 및 번역 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• 타밀-LLaMA 모델은 GPT-4가 평가한 타밀 지시 수행 태스크에서 기준 LLaMA 2보다 우수하다.
• GPT-4 기반 평가에서 타밀-LLaMA-7B가 gpt-3.5-turbo보다 전체 점수(63.83 대 61.33)가 높다.
• 타밀-LLaMA-13B는 GPT-4의 전체 점수 71.17로 gpt-3.5-turbo의 61.33를 상회한다.
• NLU 벤치마크에서 타밀-LLaMA가 IndicSentiment(81.3% 대 무작위 50.5%) 및 IndicGLUE(80.12%)에서 원래 LLaMA를 크게 능가한다.
• 번역 태스크에서 타밀-영어 간 번역 성능이 강하게 나타나 타밀-LLaMA가 원래 LLaMA 2 70B를 넘어섰고 gpt-3.5-turbo에 근접한다.
• 코드 생성 및 추론 태스크는 더 큰 모델의 타밀 생성에 비해 개선되었으나 수학적 추론은 여전히 도전적이다.