[論文レビュー] Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca

Yiming Cui, Ziqing Yang+1 more|arXiv (Cornell University)|Apr 17, 2023

Natural Language Processing Techniques被引用数 71

ひとこと要約

本研究はLLaMAを20,000の中国語トークンで拡張し、効率的な訓練とファインチューニングのためにLoRAを使用し、中国語LLaMA/Alpacaモデルにおける中国語理解と指示遵守能力の向上を示す。

ABSTRACT

Large Language Models (LLMs), such as ChatGPT and GPT-4, have dramatically transformed natural language processing research and shown promising strides towards Artificial General Intelligence (AGI). Nonetheless, the high costs associated with training and deploying LLMs present substantial obstacles to transparent, accessible academic research. While several large language models, such as LLaMA, have been open-sourced by the community, these predominantly focus on English corpora, limiting their usefulness for other languages. In this paper, we propose a method to augment LLaMA with capabilities for understanding and generating Chinese text and its ability to follow instructions. We achieve this by extending LLaMA's existing vocabulary with an additional 20,000 Chinese tokens, thereby improving its encoding efficiency and semantic understanding of Chinese. We further incorporate secondary pre-training using Chinese data and fine-tune the model with Chinese instruction datasets, significantly enhancing the model's ability to comprehend and execute instructions. Our experimental results indicate that the newly proposed model markedly enhances the original LLaMA's proficiency in understanding and generating Chinese content. Additionally, the results on the C-Eval dataset yield competitive performance among the models with several times the size of ours. We have made our pre-trained models, training scripts, and other resources available through GitHub, fostering open research for our community. Chinese LLaMA series: \url{https://github.com/ymcui/Chinese-LLaMA-Alpaca} and Chinese Llama-2 series: \url{https://github.com/ymcui/Chinese-LLaMA-Alpaca-2}

研究の動機と目的

• LLaMAとAlpacaを中国語の言語理解と生成のために強化する。
• 中国語テキストのエンコード効率と意味理解を向上させる。
• パラメータ効率的なファインチューニング（LoRA）を用いたコスト効率の高い訓練と適応を実現する。
• コミュニティへ中国語LLaMA/Alpacaの事前訓練済みリソースを提供する。

提案手法

• LLaMAの語彙を20,000中国語トークンで拡張し、元のトークナイザと統合して中国語LLaMAトークナイザを作成（語彙サイズ49,953） 。
• 拡張語彙に対応するよう埋め込み行列をリサイズし、元のトークン埋め込みを変更せずに対応する。
• アテンションおよびMLP層にLoRAアダプターを適用してパラメータ効率的な事前訓練とファインチューニングを行う。
• 中国語コーパスで標準的なCasual Language Modeling (CLM) による中国語LLaMAの事前訓練（基本20 GB、Plus120 GB）。
• Alpacaのパラダイムに従い、テンプレートベースのプロンプトで教師付きファインチューニング（SFT）を用いて中国語の指示データでファインチューニングを行い、語彙サイズは49,954。
• GPT-4ベースの採点と人力チェックを用いた指示遵守タスクと自然言語理解タスク（C-Eval）で評価。

実験結果

リサーチクエスチョン

• RQ1 20kの中国語トークンを用いたLLaMA語彙の拡張が中国語のエンコード効率と生成品質を改善するか？
• RQ2 LoRAは限られた計算資源下で中国語LLaMA/Alpacaモデルの効率的な訓練とファインチューニングを可能にするか？
• RQ3 中国語LLaMAと中国語Alpacaは、ベースラインLLaMA/Alpacaと比較して指示遵守とNLUベンチマークでどう評価されるか？
• RQ4 データ規模（20GB対120GB）の差が中国語モデルの性能にどのような影響を及ぼすか？
• RQ5 デコード戦略と評価手法が中国語タスクでのモデル評価に与える影響は何か？

主な発見

• 中国語LLaMAトークナイザはエンコード長を削減し、トークン数は元の約半分となり、実質的にコンテキストの使用を倍増させ、生成を高速化する。
• LoRAベースの訓練により、注意メカニズムとMLPコンポーネントに焦点を当てつつ、すべての中国語LLaMA/Alpacaバリアントでパラメータ効率の良い事前訓練とファインチューニングを実現する。
• 中国語Alpacaモデル（Plus系列）は、多くの指示遵守タスクで基本モデルを上回り、複数の指標で高いGPT-4評価スコアを達成するモデルが多く、特に大きなPlusモデルは高い傾向にある。
• Alpaca-33BはPlus-7B/Plus-13Bより数値推論、コーディング、倫理処理の点で優れている一方、データ量とモデルサイズの相互作用のためにテキスト生成や多-turn対話ではPlus-seriesモデルに遅れをとる可能性がある。
• C-Eval自然言語理解ベンチマークでは、提案された語彙と訓練手法によって大規模モデルと比較して競争力のある性能を報告しており、中国語能力の効率良い実現を示している。