[論文レビュー] VinaLLaMA: LLaMA-based Vietnamese Foundation Model

Quan Nguyen, Huy Pham+1 more|arXiv (Cornell University)|Dec 18, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

VinaLLaMAは、100万件の高品質な合成サンプルと多様な公開ベトナム語データを含む8000億トークンでトレーニングされた、70億パラメータでオープンウェイトの指令微調整済みLLaMA-2ベースの基盤モデルであり、ベトナム語向けに設計されている。VLSP、VMLU、Vicunaベンチマーク・ベトナム語の主要なベンチマークで最先端の性能を達成し、強力な二か国語能力と推論・生成タスクにおける最先端の結果を示しており、ベトナム語NLPの新基準を確立している。

ABSTRACT

In this technical report, we present VinaLLaMA, an open-weight, state-of-the-art (SOTA) Large Language Model for the Vietnamese language, built upon LLaMA-2 with an additional 800 billion trained tokens. VinaLLaMA not only demonstrates fluency in Vietnamese but also exhibits a profound understanding of Vietnamese culture, making it a truly indigenous model. VinaLLaMA-7B-chat, trained on 1 million high-quality synthetic samples, achieves SOTA results on key benchmarks, including VLSP, VMLU, and Vicuna Benchmark Vietnamese, marking a significant advancement in the Vietnamese AI landscape and offering a versatile resource for various applications.

研究の動機と目的

• ベトナム語向けに特化した高パフォーマンスでオープンソースの基盤モデルを開発し、ベトナム語用の独自で高品質な大規模言語モデルの不足を補う。
• 文学、ニュース、合成データを含む多様で高品質なベトナム語テキストを用いてトレーニングすることで、ベトナム語NLPにおける言語的・文化的な流暢さを向上させる。
• 主にベトナム語に最適化された一方で、強力な二か国語（ベトナム語-英語）能力を維持しながら、ベトナム語ベンチマークで最先端のパフォーマンスを達成する。
• HuggingFaceに完全互換性を備えたオープンリリースにより、ベトナム語AI研究における広範なアクセスと協働を促進する。
• 低リソース言語向けに特化した高パフォーマンス言語モデルを構築するうえで、合成データと指令微調整の有効性を実証する。

提案手法

• 人間の応答に類似した出力を得るために、100万件の高品質な合成指令微調整サンプルを用いてLLaMA-2-7Bを微調整した。
• 約8000億トークンの事前学習データセットを構築し、25万冊のベトナム語書籍、200万件のベトナム語ニュース記事（VnExpress、BaoMoi）、CulturaXのベトナム語サブセット、および1000億トークンの英語データを統合した。
• ベトナム語に特に最適化されたBKAIのLLaMA-2-chatトークナイザーを採用し、トークン化の効率性とカバー範囲を向上させた。
• 公開データと合成データの組み合わせを用いて継続的事前学習を実施した後、指令データを用いた教師あり微調整を実施した。
• GPT-3.5およびGPT-4を用いて生成した合成データを活用した指令微調整により、ゼロショットおよびフェイワショット一般化性能を向上させた。
• VLSP、VMLU、Vicunaベンチマーク・ベトナム語、およびHuggingFace OpenLLMリーダーボードを用いて、二か国語能力を含む複数のベンチマークでパフォーマンスを評価した。

Figure 2: The first stage of generating synthetic data for pretraining

実験結果

リサーチクエスチョン

• RQ1 ターゲット事前学習と指令微調整を用いることで、LLaMA-2ベースのモデルがベトナム語NLPベンチマークで最先端のパフォーマンスを達成できるか？
• RQ2 合成データは、ベトナム語のような低リソース言語向け大規模言語モデルの指令従従性および推論能力を向上させるのにどの程度効果的か？
• RQ3 多言語事前学習戦略は、ベトナム語を焦点にした大規模言語モデルにおける二か国語（ベトナム語-英語）パフォーマンスをどの程度向上させられるか？
• RQ4 文化的に関連性の高いベトナム語データでトレーニングされた基盤モデルは、表面的な流暢さを超えて、文化的理解を深められるか？
• RQ5 VinaLLaMAは、他のオープンソースのベトナム語LLMと比較して、推論、指令従従、ゼロショット一般化の観点でどの程度優れているか？

主な発見

• VinaLLaMA-7B-chatは、VLSP、VMLU、およびVicunaベンチマーク・ベトナム語のすべての主要なベンチマークで最先端のスコアを達成した。
• Vicunaベンチマーク（ベトナム語）では、5つのタスクすべてでスコア4.000を記録し、GPT-4と同等の性能を示し、他のオープンソースモデルを上回った。
• HuggingFace OpenLLMリーダーボードでは、VinaLLaMA-7B-chatの平均スコアは0.5227であり、LLaMA-2-7B-chat-hf（0.5074）や他のオープンモデルを上回った。
• GSM8K数学的推論ベンチマークでは、VinaLLaMA-7B-chatの5ショットスコアは0.3002であり、LLaMA-2-7B-chat-hf（0.0735）や他のモデルを著しく上回った。
• モデルは強力な二か国語能力を示し、主にベトナム語に最適化されていながらも、英語ベンチマークでも高いパフォーマンスを維持した。
• VinaLLaMA-7B-chatは、強化学習を適用したLLaMA-2の変種でさえも数学的推論において上回り、合成データと微調整戦略の有効性を強く示している。

Figure 3: Our second stage of generating synthetic data for pretraining. Vietcuna-3B-v2 was deployed to save cost while maintaining the same performance with distillation from GPT-4