[論文レビュー] A Survey on Large Language Models with Multilingualism: Recent Advances and New Frontiers

Kaiyu Huang, Fengran Mo+11 more|arXiv (Cornell University)|May 17, 2024

Topic Modeling被引用数 5

ひとこと要約

多言語能力を備えたLLMの総合的な調査で、分類法、訓練と推論戦略、セキュリティと多分野の考慮事項、データセット、ベンチマーク、今後の方向性を提示する。

ABSTRACT

The rapid development of Large Language Models (LLMs) demonstrates remarkable multilingual capabilities in natural language processing, attracting global attention in both academia and industry. To mitigate potential discrimination and enhance the overall usability and accessibility for diverse language user groups, it is important for the development of language-fair technology. Despite the breakthroughs of LLMs, the investigation into the multilingual scenario remains insufficient, where a comprehensive survey to summarize recent approaches, developments, limitations, and potential solutions is desirable. To this end, we provide a survey with multiple perspectives on the utilization of LLMs in the multilingual scenario. We first rethink the transitions between previous and current research on pre-trained language models. Then we introduce several perspectives on the multilingualism of LLMs, including training and inference methods, information retrieval, model security, multi-domain with language culture, and usage of datasets. We also discuss the major challenges that arise in these aspects, along with possible solutions. Besides, we highlight future research directions that aim at further enhancing LLMs with multilingualism. The survey aims to help the research community address multilingual problems and provide a comprehensive understanding of the core concepts, key techniques, and latest developments in multilingual natural language processing based on LLMs.

研究の動機と目的

• 多言語性を持つLLMの概念を定義・明確化し、言語の公正性とアクセス可能なAIの必要性を動機づける。
• 訓練、推論、セキュリティ、マルチドメインの適用範囲にわたる、多言語LLMの構造化された分類と比較分析を提供する。
• 課題を特定し、LLMの多言語機能とアクセス可能性を向上させるための潜在的な解決策を提案する。
• 多言語LLMに関連するデータセット、ベンチマーク、評価プロトコルを要約し、今後の研究方向を概説する。

提案手法

• 多言語LLMを分類するための構造化された分類法を提案し、多言語設定における事前学習からプロンプト/予測へのパラダイム転換を明確化する。
• 0から学習したモデルと継続的訓練を通じて訓練された代表的なモデルを調査し、アーキテクチャ、データ、訓練戦略を詳述する。
• 多言語推論戦略（直接推論 vs 事前翻訳）を分析し、多言語タスクにおける経験的性能を報告する。
• セキュリティ、オープンソース対クローズドソースのモデル、そしてマルチドメイン適用（医療、法務等）を論じる。
• 多言語評価に使用されるデータセットとベンチマークを整理・要約し、クロスリンガルバイアスの考慮事項を強調する。

実験結果

リサーチクエスチョン

• RQ1 LLMが多言語設定で卓越するための主要な要因とアーキテクチャ上の選択は何か。
• RQ2 0からの訓練と継続的訓練は、言語とドメインを跨ぐ多言語能力にどのように影響するか。
• RQ3 直接多言語推論と事前翻訳の推論戦略は、実際の多言語タスクでどう比較されるか。
• RQ4 多言語LLMの主な安全性・セキュリティ・バイアスの懸念は何で、どのように緩和できるか。
• RQ5 どのデータセットとベンチマークが多言語能力とクロスリンガル性能を最もよく捉えるか。

主な発見

Model	Inference	XCOPA 精度	XStoryCloze 精度	BELEBELE 精度	XLSum Rouge-L	XQuAD F1	TyDiQA-GP F1
PaLM2-S	En-Pivot	87.3	96.4	76.7	23.7	67.2	81.6
PaLM2-S	Direct	89.7	96.8	77.8	26.8	70.7	83.8
PaLM2-L	En-Pivot	89.6	97.8	84.3	25.4	78.7	81.0
PaLM2-L	Direct	93.4	99.1	88.4	28.0	85.9	83.0

• 多言語LLMは現在、直接推論で非英語の性能が向上し、数百言語をサポートしている。
• 直接多言語推論は、いくつかのタスクで事前翻訳アプローチを上回ることが多く、翻訳エラーを減らし言語的ニュアンスを保持する。
• 0からの訓練と継続的訓練の両方が多言語能力を向上させ、継続的訓練は既存の知識を活用しつつ特定言語の拡張を可能にする。
• 実用的な多言語展開において、セキュリティ、モデルのアクセス性（オープン対クローズド）、およびクロスドメイン適応性は重要な考慮事項である。
• 多言語コーパスとベンチマークの広範なセット（例：CROSS-LINGUALおよびクロスドメインデータセット）は、多言語能力を評価し指針を示すために不可欠である。