[論文レビュー] SeaLLMs -- Large Language Models for Southeast Asia

Xuan-Phi Nguyen, Wenxuan Zhang+15 more|arXiv (Cornell University)|Dec 1, 2023

Topic Modeling被引用数 7

ひとこと要約

SeaLLMsは、東南アジア（SEA）言語に特化した大規模言語モデルのファミリーを導入し、Llama-2の継続的事前学習、拡張されたSEA指向の語彙、ハイブリッド多言語インstructチューニング、自己優先順位付けによるアライメントを通じて性能を向上させた。これらのモデルは、タイ語、高棉語、ラオス語、ミャンマー語など、ラテン文字非対応の低リソース言語において、オープンソースLLMおよびChatGPT-3.5を上回る最先端の性能を達成し、英語でも高い性能を維持している。

ABSTRACT

Despite the remarkable achievements of large language models (LLMs) in various tasks, there remains a linguistic bias that favors high-resource languages, such as English, often at the expense of low-resource and regional languages. To address this imbalance, we introduce SeaLLMs, an innovative series of language models that specifically focuses on Southeast Asian (SEA) languages. SeaLLMs are built upon the Llama-2 model and further advanced through continued pre-training with an extended vocabulary, specialized instruction and alignment tuning to better capture the intricacies of regional languages. This allows them to respect and reflect local cultural norms, customs, stylistic preferences, and legal considerations. Our comprehensive evaluation demonstrates that SeaLLM-13b models exhibit superior performance across a wide spectrum of linguistic tasks and assistant-style instruction-following capabilities relative to comparable open-source models. Moreover, they outperform ChatGPT-3.5 in non-Latin languages, such as Thai, Khmer, Lao, and Burmese, by large margins while remaining lightweight and cost-effective to operate.

研究の動機と目的

• 高リソース言語（例：英語）に偏った大規模言語モデルの言語的バイアスを是正すること。
• タイ語、ベトナム語、クメール語、ラオス語、ミャンマー語、その他の東南アジア（SEA）言語の言語的・文化的特徴に特化して最適化された大規模言語モデルのファミリーを開発すること。
• 高リソース言語（例：英語）の性能を維持しつつ、特に低リソースのSEA言語における多言語タスクの性能を向上させること。
• 東南アジア地域の現地の規範、習慣、法的枠組みを尊重する、軽量でコスト効率が良く、文化的に配慮されたAIアシスタントを構築すること。
• 特化したチューニングと自己教師付きアライメントが、地域特化の言語理解および生成タスクにおいて一般化モデルを上回ることを実証すること。

提案手法

• Common Crawl、CC-News、Wikipedia、学術出版物など、公的ソースからの多言語コーパスを、FastTextを用いてSEA言語にフィルタリングした上で、拡張語彙を用いてLlama-2の継続的事前学習を実施。
• 多言語事前学習データと英語優位のインstructチューニングデータの混合を用いたハイブリッドチューニングにより、多言語能力とインstruct従順性の両立を図る。
• 10種類のSEA言語をカバーするバランスの取れたカスタム構築多言語SFTデータセットを用いた特化型インstructチューニングにより、ゼロショットおよびフェイワショット一般化性能を向上。
• SeaLLMモデル自身を用いて自己優先順位付けによるアライメント最適化を実施し、報酬モデリングに人間のアノテーターまたはより強力なLLMに依存しない。
• 段階的訓練パイプラインの採用：継続的事前学習 → ハイブリッドチューニング → SFT → 自己優先順位付けアライメント。
• GPT-4をジャッジとして用い、9言語と5タスクカテゴリ（世界知識、読解、機械翻訳など）をカバーする包括的ベンチマーク（Sea-bench）を用いた評価。

Figure 1 : Sea-bench ( Section 4.2 ) scores as evaluated by GPT-4 [ 38 ] for different models.Each radar chart compares scores as averaged across 5 categories (left) and 9 languages (right). Detailed breakdown by each category and language is given in Figure 7 in the Appendix.

実験結果

リサーチクエスチョン

• RQ1 拡張されたSEA言語コーパスを用いた継続的事前学習は、ベースのLlama-2モデルと比較して、低リソース東南アジア言語における性能を顕著に向上させるか？
• RQ2 ハイブリッドおよび特化型インstructチューニングは、多様なSEA言語における多言語インストラクション従順性をどの程度向上させるか？
• RQ3 人間によるアノテーションによる報酬データに依存しない自己優先順位付けアライメントは、人間の好みに基づいたチューニングを施したモデルと比較して、アシスタント型タスクで競争力のある性能を達成できるか？
• RQ4 ChatGPT-3.5と比較して、SeaLLM-13Bは非ラテン文字のSEA言語、特に低リソース環境下でどの程度の性能を示すか？
• RQ5 文化的・法的感受性を考慮したチューニングの導入は、東南アジアの文化的文脈における実世界のアシスタントアプリケーションにおけるモデル行動を改善するか？

主な発見

• SeaLLM-13b-5Lは、13Bパラメータモデルの中で世界知識ベンチマークで最高得点63.20を記録し、Llama-2-13b（61.17）および他のオープンソースモデルを上回った。
• 読解タスクにおいて、SeaLLM-13b-10LはXQuADベンチマークでタイ語でF1スコア59.50を達成し、Llama-2-13b（25.73）を著しく上回り、英語でのChatGPT-3.5の性能（69.18）に近づいた。
• 機械翻訳において、SeaLLM-13Bはラオス語やクメール語を含む低リソース言語を含む10の翻訳方向のうち8つでChatGPT-3.5を上回り、特にEn→LaoおよびEn→Khmerで高いchrF++スコアを記録した。
• SEA言語間の直接翻訳において、SeaLLM-13Bは10の言語ペアのうち7つでChatGPT-3.5を上回るchrF++スコアを達成し、特に低リソース組み合わせで顕著な優位性を示した。
• SeaLLM-13b-5LはSea-benchアシスタント評価で55.23のスコアを記録し、非ラテン文字言語でChatGPT-3.5を上回りつつ、英語でも高い性能を維持した。
• 自己優先順位付けアライメント手法により、人間による好みデータに依存せずに高い性能を達成でき、多言語環境における自己教師付きアライメントの実現可能性を示した。

Figure 3 : Language composition of Pre-training and SFT data for SeaLLMs. The pre-training data has more balanced language ratios. However, the SFT data is dominantly English because of the abundance of open-source English data and the difficulty in acquiring SFT data in other languages.