[논문 리뷰] Tiny Aya: Bridging Scale and Multilingual Depth

Alejandro Salamanca, Diana Abagyan외 24명|arXiv (Cornell University)|2026. 03. 12.

Natural Language Processing Techniques인용 수 0

한 줄 요약

Tiny Aya는 70개 언어를 다루는 3.35B 파라미터 다국어 모델 계열을 제시하며, 지역 특화 후훈련과 균형 잡힌 데이터 혼합으로 강력한 번역, 다국어 이해 및 안전한 생성 성능을 달성합니다.

ABSTRACT

Tiny Aya redefines what a small multilingual language model can achieve. Trained on 70 languages and refined through region-aware posttraining, it delivers state-of-the-art in translation quality, strong multilingual understanding, and high-quality target-language generation, all with just 3.35B parameters. The release includes a pretrained foundation model, a globally balanced instruction-tuned variant, and three region-specialized models targeting languages from Africa, South Asia, Europe, Asia-Pacific, and West Asia. This report details the training strategy, data composition, and comprehensive evaluation framework behind Tiny Aya, and presents an alternative scaling path for multilingual AI: one centered on efficiency, balanced performance across languages, and practical deployment.

연구 동기 및 목표

• 다양한 언어 간의 불균형한 성능을 해소하기 위해 효율적이고 지역 인식이 반영된 다국어 모델을 설계한다.
• 다양한 언어를 지원하되 어휘 전달 이슈 없이 균형 잡힌 데이터 혼합과 단일 다국어 토크나이저를 개발한다.
• 지역 특화 후훈련과 모델 병합을 통해 글로벌 명령 준수 및 안전성을 유지하면서 지역 번역/생성 품질을 향상시킨다.
• 다양한 언어 집합에 대해 번역, 이해, 추론 및 안전성을 포괄적으로 측정하는 평가 프레임워크를 제공한다.

제안 방법

• 병렬 블록과 상호 간섭 주의(attention)가 결합된 조밀한 디코더-전용 트랜스포머 아키텍처를 사용하고, 안정성을 위해 SwiGLU 활성화와 바이어스를 제거한다.
• 70개 언어에 대한 6T 토큰으로 Tiny Aya를 Warmup-Stable-Decay 일정으로 사전학습하며 FP8/BF16/FP32 혼합 정밀도를 FP8 지원 인프라에서 활용한다.
• 언어와 문자 스크립트 전반에 걸쳐 공정한 표현을 보장하는 지역 인식 데이터 가중치를 갖춘 단일 다국어 토크나이저를 구성한다(어휘 262k).
• 지역 인식 클러스터(아시아태평양, 아프리카, 남아시아, 유럽, 서아시아)를 만들고 번역, 프롬프트 수준 변환, 다수 교사로부터의 FusioN 데이터 생성으로 균형 잡힌 다국어 데이터를 합성한다.
• SimMerge를 사용해 지역 특화 후훈련 체크포인트를 글로벌 체크포인트와 병합하여 글로벌 안전성과 명령 준수를 유지하면서 지역별 성능을 높인다.

실험 결과

연구 질문

• RQ1 대규모 언어 집합에서 모델 규모만 증가시키지 않고도 어떻게 균형 잡힌 다국어 성능을 달성할 수 있는가?
• RQ2 데이터, 토크나이제이션, 후훈련 전략 중 어떤 조합이 강력한 크로스링구얼 능력과 지역별 강점을 제공하는가?
• RQ3 지역 특화 후훈련과 예측 병합이 안전성과 명령 준수성을 보존하면서 지역 번역 및 생성 품질을 향상시킬 수 있는가?
• RQ4 포괄적 다국어 평가가 Tiny Aya를 기존 모델과 번역, 추론 및 자유 형식 작업에서 어떻게 비교하는가?

주요 결과

• Tiny Aya는 동일 규모 클래스의 기존 다국어 모델과 비교해 경쟁력 있는 작업 성능을 달성한다.
• 지역 특화 변형은 남아시아에서 번역 품질을 최대 5.5 ChrF 포인트, 아프리카에서 평균 1.7 포인트까지 개선한다.
• Tiny Aya Global은 WMT24++에서 55개 언어 중 46개에서 번역 품질이 Gemma3-4B를 능가하거나 일치하며, 동일 규모의 오픈형 모델과 개방형 생성에서도 비슷한 수준을 보인다.
• Tiny Aya는 MultiJail에서 평균 안전 응답 비율이 91.1%로 가장 높고, 모든 언어에서 최소 안전성도 강하게 유지한다.
• 단일 다국어 토크나이저와 균형 잡힌 후훈련 혼합은 언어 간 차이를 줄이고 지역 간 실용적 배치를 지원한다.