[論文レビュー] Towards Better Instruction Following Language Models for Chinese: Investigating the Impact of Training Data and Evaluation

Yunjie Ji, Yan Gong+5 more|arXiv (Cornell University)|Apr 16, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、中国語言語モデルにおける指示従い性能に与えるトレーニングデータの量、品質、および言語的分布の影響を調査する。収集済みの指示データセットから得た34億語の中国語データを用いて、LLaMAの語彙を拡張し、微調整を行うことで、トレーニングおよび推論時間を60%削減しながらも高い性能を維持した。また、モデル、データ、コードを公開することで、オープンソース中国語対話型AIの発展を促進する。

ABSTRACT

Recently, significant public efforts have been directed towards developing low-cost models with capabilities akin to ChatGPT, thereby fostering the growth of open-source conversational models. However, there remains a scarcity of comprehensive and in-depth evaluations of these models' performance. In this study, we examine the influence of training data factors, including quantity, quality, and linguistic distribution, on model performance. Our analysis is grounded in several publicly accessible, high-quality instruction datasets, as well as our own Chinese multi-turn conversations. We assess various models using a evaluation set of 1,000 samples, encompassing nine real-world scenarios. Our goal is to supplement manual evaluations with quantitative analyses, offering valuable insights for the continued advancement of open-source chat models. Furthermore, to enhance the performance and training and inference efficiency of models in the Chinese domain, we extend the vocabulary of LLaMA - the model with the closest open-source performance to proprietary language models like GPT-3 - and conduct secondary pre-training on 3.4B Chinese words. We make our model, data, as well as code publicly available.

研究の動機と目的

• トレーニングデータ要因（量、品質、言語的分布）が中国語言語モデルにおける指示従い性能に与える影響を調査すること。
• 9つの実世界のシナリオにわたる1,000件の中国語指示サンプルを含む包括的で多様性に富み、バランスの取れた評価セットを構築し、モデルの定量的比較を可能にすること。
• 語彙の拡張と2次的な事前学習を通じて、LLaMAベースのモデルの中国語領域における効率性と性能を向上させること。
• オープンソース中国語LLM開発における体系的かつ大規模な評価の不足に対処し、公開可能なベンチマークとモデルを提供すること。
• オープンソースライセンスの下で訓練済みモデル、トレーニングデータ、コードを公開することで、再現可能性とコミュニティの進歩を促進すること。

提案手法

• 中国語のサブワードユニットおよびドメイン固有のトークンをLLaMAの語彙に追加することで、中国語言語モデリングの効率性を向上させた。
• 公開済みで高品質な指示データセットおよびカスタムのマルチターン中国語会話データから得た34億語の中国語データを用いて、2次的な事前学習を実施した。
• Alpacaスタイル、ShareGPT、Belle-3.5データセットを含む指示データの組み合わせを用いて、全パラメータ微調整により拡張されたLLaMAモデルを微調整した。
• 9つの実世界のユーザーのシナリオをカバーする1,000件のサンプルからなる評価セットを構築し、多様な指示タイプにおけるモデル性能を評価した。
• 自動評価（GPT-4スコア）と人間による評価を併用してモデル出力を検証し、出力品質と一貫性を分析した。
• 繰り返しを低減するために推論時に低い温度（0.001）を用い、温度の影響を評価するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータの量と品質の変動が中国語LLMにおける指示従い性能に与える影響は何か？
• RQ2 トレーニングデータにおける言語的分布とドメイン多様性が、実世界のシナリオにおけるモデルの一般化性能に与える影響は何か？
• RQ3 LLaMAの語彙を拡張し、中国語コーパスを用いた事前学習を実施することで、中国語タスクにおけるモデルの効率性と性能をどの程度向上できるか？
• RQ4 オープンソース中国語指示従い型モデルは、ChatGPTなどのプロプライエタリモデルと比較してどの程度一般化できるか。主な失敗モードは何か？
• RQ5 1,000件のバランスの取れた多様な評価セットは、モデル間の信頼性ある意味のある性能比較を可能にするか？

主な発見

• LLaMAの語彙を拡張し、34億語の中国語データを用いた事前学習により、トレーニングおよび推論時間を60%削減しながらも性能に影響を与えないことを確認した。
• Alpaca、ShareGPT、Belle-3.5の指示データの組み合わせで微調整したモデルは、多様な指示タイプにおいて高い性能を示したが、すべてのケースでGPT-4に匹敵するとは限らなかった。
• モデルの出力は、GPT-4が生成したデータやマルチターン会話データがトレーニングに含まれていたことから、長く冗長な出力になりがちな傾向を示した。
• 評価セットでは高いスコアを記録したが、事例分析により、スコアの高さと実世界のユーザー体験との間に乖離が生じていることが判明し、評価セットの包括性に限界があることが示された。
• 生成温度を0.001から0.5に引き上げることで、出力の多様性が顕著に向上した。これは、低温設定が繰り返しを引き起こす可能性があることを示唆している。
• 評価セットは多様ではあるが、十分に包括的ではなかった。難易度が極端に簡単または難しいサンプルが性能比較を歪める可能性があり、よりバランスの取れた大規模なベンチマークの必要性が浮き彫りになった。