[論文レビュー] Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
Aya Modelは101言語をカバーする超大規模な多言語対応の指示適合型LLMで、半数以上が低資源言語で、ほとんどのタスクでmT0およびBLOOMZを上回り、オープンソースのデータとモデルを提供します。
Recent breakthroughs in large language models (LLMs) have centered around a handful of data-rich languages. What does it take to broaden access to breakthroughs beyond first-class citizen languages? Our work introduces Aya, a massively multilingual generative language model that follows instructions in 101 languages of which over 50% are considered as lower-resourced. Aya outperforms mT0 and BLOOMZ on the majority of tasks while covering double the number of languages. We introduce extensive new evaluation suites that broaden the state-of-art for multilingual eval across 99 languages -- including discriminative and generative tasks, human evaluation, and simulated win rates that cover both held-out tasks and in-distribution performance. Furthermore, we conduct detailed investigations on the optimal finetuning mixture composition, data pruning, as well as the toxicity, bias, and safety of our models. We open-source our instruction datasets and our model at https://hf.co/CohereForAI/aya-101
研究の動機と目的
- 高度資源言語を超えた突破的なLLM機能へのアクセスを広げる。
- 超大規模多言語対応の指示適合済みモデル（Aya）を導入し評価する。
- 99言語にわたる大規模な多言語評価スイートを開発・展開する。
- 最適なファインチューニング混合、データ剪定を調査し、毒性・偏見・安全性を評価する。
- 指示データセットとモデルのオープンソース公開。
提案手法
- 指示遵守目的で多言語生成モデルをファインチューニングする。
- ファインチューニング混合組成とデータ剪定戦略を実験する。
- 識別的・生成的および人間の評価を含む99言語にまたがる大規模な評価スイートを構築・適用する。
- モデルの毒性・偏見・安全性の側面を評価する。
- 指示データセットとモデルをオープンソース資源として公開する。
実験結果
リサーチクエスチョン
- RQ1 Ayaは広範な言語とタスクセットにおいて、mT0およびBLOOMZと比較してどの程度性能を発揮するか？
- RQ2ファインチューニング混合組成とデータ剪定が多言語指示遵守性能に与える影響は？
- RQ3Ayaは低資源言語（101言語のうち50%以上）へのスケールは高資源言語と比較してどの程度か？
- RQ4Ayaモデルの毒性・偏見・安全性の特性は何で、それらはどのように緩和されているか？
主な発見
- Ayaは大多数のタスクでmT0およびBLOOMZを上回る。
- モデルは先行研究の2倍の言語をカバーする。
- 識別的・生成的タスクを網羅する99言語の大規模評価スイートがあり、ヒト評価を含む。
- ファインチューニング混合、データ剪定、および安全性の検討（毒性と偏見）に関する分析を含む。
- 指示データセットとモデルはオープンソース化されている。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。