[論文レビュー] Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback

Viet Dac Lai, Chien Van Nguyen+5 more|arXiv (Cornell University)|Jul 29, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

Okapiは、26か国語で構成される多言語大規模言語モデル（LLM）における、最初のインstruct-tunedで強化学習による人間フィードバック（RLHF）に基づくフレームワークを提供する。本研究では、インstructおよび応答順序付きデータセット、ベンチマーク評価を提供し、RLHFが多言語インストラクションチューニングにおいて、特に低リソース言語において、教師あり微調整（SFT）を顕著に上回ることを示している。

ABSTRACT

A key technology for the development of large language models (LLMs) involves instruction tuning that helps align the models' responses with human expectations to realize impressive learning abilities. Two major approaches for instruction tuning characterize supervised fine-tuning (SFT) and reinforcement learning from human feedback (RLHF), which are currently applied to produce the best commercial LLMs (e.g., ChatGPT). To improve the accessibility of LLMs for research and development efforts, various instruction-tuned open-source LLMs have also been introduced recently, e.g., Alpaca, Vicuna, to name a few. However, existing open-source LLMs have only been instruction-tuned for English and a few popular languages, thus hindering their impacts and accessibility to many other languages in the world. Among a few very recent work to explore instruction tuning for LLMs in multiple languages, SFT has been used as the only approach to instruction-tune LLMs for multiple languages. This has left a significant gap for fine-tuned LLMs based on RLHF in diverse languages and raised important questions on how RLHF can boost the performance of multilingual instruction tuning. To overcome this issue, we present Okapi, the first system with instruction-tuned LLMs based on RLHF for multiple languages. Okapi introduces instruction and response-ranked data in 26 diverse languages to facilitate the experiments and development of future multilingual LLM research. We also present benchmark datasets to enable the evaluation of generative LLMs in multiple languages. Our experiments demonstrate the advantages of RLHF for multilingual instruction over SFT for different base models and datasets. Our framework and resources are released at https://github.com/nlp-uoregon/Okapi.

研究の動機と目的

• 強化学習による人間フィードバック（RLHF）を用いてトレーニングされた多言語インストラクションチューニングLMMの不足を解消すること。これは、英語以外の言語では未だ未解決の分野である。
• 英語および少数の主要言語を超えた生成的LLMのトレーニングおよび評価データの不足を克服すること。
• 多様な言語向けに、高パフォーマンスでインストラクションに整合したLLMへのアクセスを民主化すること。オープンソースのモデル、データセット、ベンチマークをリリースする。
• 複数のベースモデルと言語を対象に、多言語インストラクションチューニングにおけるRLHFと教師あり微調整（SFT）の有効性を評価すること。
• 低リソース言語や代表されていない言語向けに、標準化されたベンチマークとトレーニングリソースを提供することで、今後の多言語生成AI分野の研究を促進すること。

提案手法

• 26か国語の多様な言語で構成されるインストラクション・インプット・望ましい応答の三つ組みデータを収集・キュレートする。
• LLM（例：ChatGPT）を用いて応答順序付きデータを生成し、RLHFにおける報酬モデリングのための比較的出力を得る。
• 順序付き応答に対して報酬モデルをトレーニングし、強化学習に向けた密度的で人間の好みに整合した報酬信号を提供する。
• 報酬モデルを用いて、ベースLMM（BLOOMおよびLLaMA-7B）を強化学習による微調整し、人間の好みとの整合性を最適化する。
• HuggingFaceのOpen LLM Leaderboardベンチマーク（ARC、HellaSwag、MMLU、TruthfulQA）を英語でのゼロショット評価に用い、多言語分析に適応する。
• フレームワーク全体、データセット、トレーニング済みモデルを https://github.com/nlp-uoregon/Okapi にリリースし、オープンリサーチと再現可能性を支援する。

実験結果

リサーチクエスチョン

• RQ1 RLHFは、多様な言語においてSFTと比較して、多言語LLMのインストラクション実行性能を顕著に向上させることができるか？
• RQ2 RLHFでトレーニングされたインストラクションチューニングLMMは、低リソース言語と高リソース言語の両方でどのように一般化するか？
• RQ3 MMLU や HellaSwag といった多言語ベンチマークにおいて、RLHFベースのモデルはSFTベースのモデルをどの程度上回るか？
• RQ4 自動生成および翻訳されたインストラクション・応答ペairは、多言語RLHFパイプラインのトレーニングにどの程度有効か？
• RQ5 特に英語以外の言語において、RLHFとSFTを用いた多言語インストラクションチューニングのパフォーマンスギャップはどの程度か？

主な発見

• 複数のベースモデルと評価ベンチマークを対象に、RLHFベースのインストラクションチューニングは、多言語インストラクションチューニングにおいてSFTを顕著に上回る。
• Okapiフレームワークは、合成データ生成を伴っても、RLHFが多言語LLMにおける整合性および推論能力を効果的に向上させられることを示している。
• SFTが限られた監視データのため苦戦する低リソース言語において、RLHFによるパフォーマンス向上が特に顕著である。
• ベンチマーク評価では、RLHFチューニング済みモデルがMMLU、HellaSwag、TruthfulQAにおいてSFTの対応モデルよりも高いスコアを達成している。
• 26か国語でリリースされたインストラクションおよび応答順序付きデータセットは、今後の多言語生成AI分野の研究基盤を提供する。
• LLM生成データに依存しているにもかかわらず、本フレームワークは競争力のあるパフォーマンスを達成しており、最小限の人的アノテーションでスケーラブルな多言語RLHFの実現可能性を示唆している。