[論文レビュー] AceGPT, Localizing Large Language Models in Arabic

Huang Huang, F. Richard Yu+18 more|arXiv (Cornell University)|Sep 21, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文では、局所化された事前学習、ネイティブのアラビア語指示を用いた教師あり微調整、GPT-4が生成したアラビア語応答、文化的に整合性のある報酬モデルを用いた強化学習を組み合わせることで、最先端のパフォーマンスを達成するオープンソースのアラビア語大規模言語モデル（LLM）であるAceGPTを紹介する。AceGPTは、アラビア語ビーチナ-80、アラビア語アラパッチーベール、アラビア語MMLU、EXAMs、および新規のアラビア語文化的・価値適合性（ACVA）ベンチマークを含む、主要なベンチマークで既存のモデルを上回る性能を発揮する。

ABSTRACT

This paper is devoted to the development of a localized Large Language Model (LLM) specifically for Arabic, a language imbued with unique cultural characteristics inadequately addressed by current mainstream models. Significant concerns emerge when addressing cultural sensitivity and local values. To address this, the paper proposes a comprehensive solution that includes further pre-training with Arabic texts, Supervised Fine-Tuning (SFT) utilizing native Arabic instructions, and GPT-4 responses in Arabic, alongside Reinforcement Learning with AI Feedback (RLAIF) employing a reward model attuned to local culture and values. The goal is to cultivate culturally cognizant and value-aligned Arabic LLMs capable of accommodating the diverse, application-specific needs of Arabic-speaking communities. Comprehensive evaluations reveal that the resulting model, dubbed `AceGPT', sets the state-of-the-art standard for open Arabic LLMs across various benchmarks. Codes, data, and models are in https://github.com/FreedomIntelligence/AceGPT.

研究の動機と目的

• 主流のモデルがアラビア語の文化的な規範や価値観と一致しない『ローカリゼーションの問題』を解決すること。
• 事前学習、教師あり微調整、AIフィードバックを用いた強化学習を含む、アラビア語LLMを訓練する包括的でオープンソースのパイプラインを構築すること。
• アラビア語LLMにおける文化的・価値適合性を定量的に測定できる新しいベンチマーク、ACVAを導入すること。
• 指示従い、知識、文化的適合性のタスクを含む、複数のアラビア語NLPベンチマークで最先端のパフォーマンスを達成すること。
• AceGPTとその報酬モデルをリリースし、アラビア語NLP分野の研究開発を支援すること。

提案手法

• 多様なアラビア語テキストコーパスを用いた段階的事前学習により、強固な言語的・文化的基盤を構築する。
• ネイティブのアラビア語指示-応答ペアを用いた教師あり微調整により、指示従いの能力を向上させる。
• GPT-4を用いて高品質のアラビア語応答を生成し、翻訳に起因するアーティファクトを回避する高精度な監視信号を提供する。
• アラビア語の文化的価値観と整合性のある人間の好みデータを用いて学習した報酬モデルを用いて、AIフィードバックを用いた強化学習（RLAIF）を実施する。
• 各ベンチマークタスクでハイパーパramータをベイジアン最適化により最適化しながら、完全に教師ありの方法でモデルを訓練する。
• 文化的に関連する実体や適切な地域的参照の存在を測定することで、文化的・価値適合性を評価する新しいベンチマークACVAを導入する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを、文化的・価値観の適合性を保ちながら、アラビア語に効果的にローカライズするにはどうすればよいか？
• RQ2 GPT-4が生成したアラビア語応答を用いることで、微調整されたアラビア語LLMの流暢さと文化的適合性はどの程度向上するか？
• RQ3 文化的に根ざした好みデータを用いて学習した報酬モデルは、LLM出力におけるアラビア語の文化的規範との適合性を顕著に向上させることができるか？
• RQ4 AceGPTは、指示従い、知識、文化的適合性のタスクを含む、多様なベンチマークにおいて、既存のオープンソースのアラビア語LLMと比べてどのように差をつけるか？
• RQ5 RLAIFを削除した場合、人間評価においてモデルのパフォーマンスと適合性にどのような影響が生じるか？

主な発見

• AceGPTは、規模が限定的であるにもかかわらず、アラビア語ビーチナ-80ベンチマークでオープンソースのアラビア語LLMとして最先端のパフォーマンスを達成し、Turboを上回った。
• アラビア語アラパッチーベールベンチマークにおいて、AceGPT-7B-chatは、前回の最先端モデルSenguptaら（2023）と比較して30%の改善を達成した。
• アラビア語MMLUおよびEXAMsの知識ベンチマークにおいて、AceGPTはオープンソースモデルとして最先端の結果を達成し、正確な事実知識の保持能力を示した。
• 新たに導入されたACVAベンチマークでは、AceGPTは最先端のパフォーマンスを達成し、アラビア語の文化的・価値観との強い適合性を示した。
• 人間評価では、AceGPT-13B-chatが68%の比較でJais-13B-chatに勝利した（ボランティア1）、またAceGPT-7B-chatは66%の比較でTurboに勝利した（ボランティア1）。
• RLAIFを削除した場合、パフォーマンスが著しく低下し、AceGPT-7B-chat（w/o RLAIF）はボランティア3の評価で74%の比較でTurboに負けた。これは報酬モデリングが適合性に果たす重要な役割を示している。