[論文レビュー] Tiny Aya: Bridging Scale and Multilingual Depth

Alejandro Salamanca, Diana Abagyan+24 more|arXiv (Cornell University)|Mar 12, 2026

Natural Language Processing Techniques被引用数 0

ひとこと要約

tldr: Tiny Aya presents a 3.35B-parameter multilingual model family trained on 70 languages, with region-specialized posttraining and a balanced data mixture to achieve strong translation, multilingual understanding, and safe generation.

ABSTRACT

Tiny Aya redefines what a small multilingual language model can achieve. Trained on 70 languages and refined through region-aware posttraining, it delivers state-of-the-art in translation quality, strong multilingual understanding, and high-quality target-language generation, all with just 3.35B parameters. The release includes a pretrained foundation model, a globally balanced instruction-tuned variant, and three region-specialized models targeting languages from Africa, South Asia, Europe, Asia-Pacific, and West Asia. This report details the training strategy, data composition, and comprehensive evaluation framework behind Tiny Aya, and presents an alternative scaling path for multilingual AI: one centered on efficiency, balanced performance across languages, and practical deployment.

研究の動機と目的

• Objective: 目的 - 設計 efficientで region-aware な多言語モデルにより、言語間の不均衡なパフォーマンスに対応する。
• データの混合をバランスよく作成し、語彙転送の問題なく多様な言語をサポートする単一の多言語トークナイザーを開発する。
• 地域特化のポストトレーニングとモデル統合を実証し、全世界の指示遵守と安全性を維持しつつ地域翻訳・生成品質を向上させる。
• 翻訳、理解、推論、セーフティの広範な言語セットに対する多言語能力を測定する評価フレームワークを提供する。

提案手法

• Method: 1) 密なデコーダーのみの Transformer アーキテクチャを用い、並列ブロックと交互アテンションを採用。安定性のため bias はなし、SwiGLU 活性化を使用。
• 2) Tiny Aya を 70 言語で 6T トークンの事前学習を行い、Warmup-Stable-Decay スケジュールを適用。FP8/BF16/FP32 の混合精度を FP8 対応インフラ上で使用。
• 3) 語彙 262k の、地域認識データ重み付けを持つ単一の多言語トークナイザーを構築し、言語とスクリプト間の公平な表現を保証。
• 4) アジア太平洋・アフリカ・南アジア・欧州・西アジアの地域クラスターを作成し、翻訳、プロンプトレベルの変換、複数の教師からの FusioN データ生成でバランスの取れた多言語データを統合。
• 5) 地域特化のポストトレーニング・チェックポイントをグローバルなチェックポイントと SimMerge でマージし、地域特有の性能を向上させつつ、グローバルな安全性と指示遵守を維持。

実験結果

リサーチクエスチョン

• RQ1 Research Questions: 1) 大規模な言語セットでモデル規模を拡大せずに、どのようにバランスの取れた多言語パフォーマンスを達成できるか？
• RQ2 2) robustな跨言語能力と地域特有の強さを生むデータ・トークナイゼーション・ポストトレーニング戦略は何か？
• RQ3 3) 地域特化のポストトレーニングと予測的マージは、安全性と指示遵守を維持しつつ地域翻訳・生成品質を高められるか？
• RQ4 4) 包括的な多言語評価は Tiny Aya を既存モデルと翻訳・推論・オープンエンドタスクでどう比較するか？

主な発見

• Key Findings: 1) Tiny Aya は同クラスの既存の多言語モデルと競争力のあるタスクパフォーマンスを示す。
• 2) 地域特化バリアントは南アジアで翻訳品質を最大 5.5 ChrF ポイント、アフリカで平均 1.7 ポイント向上。
• 3) Tiny Aya Global は WMT24++ の 55 言語中 46 言語で Gemma3-4B より翻訳品質が上回り、同スケールのオープンモデルとオープンエンド生成で同等以上を達成。
• 4) Tiny Aya は MultiJail で最高の平均セーフ respuesta 率（91.1%）を達成し、言語間での最低安全性も堅牢。
• 5) 単一の多言語トークナイザーとバランスの取れたポストトレーニング混合は言語格差を縮小し、地域間の実用的展開を支援。