[論文レビュー] Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers

Libo Qin, Qiguang Chen+7 more|arXiv (Cornell University)|Apr 7, 2024

Natural Language Processing Techniques被引用数 12

ひとこと要約

この論文は、多言語大規模言語モデル（MLLMs）の総合的な調査を提供し、 alignment 戦略に基づく新しい分類を提案し、データ資源、フロンティア、および課題を強調する。

ABSTRACT

Multilingual Large Language Models are capable of using powerful Large Language Models to handle and respond to queries in multiple languages, which achieves remarkable success in multilingual natural language processing tasks. Despite these breakthroughs, there still remains a lack of a comprehensive survey to summarize existing approaches and recent developments in this field. To this end, in this paper, we present a thorough review and provide a unified perspective to summarize the recent progress as well as emerging trends in multilingual large language models (MLLMs) literature. The contributions of this paper can be summarized: (1) First survey: to our knowledge, we take the first step and present a thorough review in MLLMs research field according to multi-lingual alignment; (2) New taxonomy: we offer a new and unified perspective to summarize the current progress of MLLMs; (3) New frontiers: we highlight several emerging frontiers and discuss the corresponding challenges; (4) Abundant resources: we collect abundant open-source resources, including relevant papers, data corpora, and leaderboards. We hope our work can provide the community with quick access and spur breakthrough research in MLLMs.

研究の動機と目的

• 多言語アライメント戦略で整理されたMLLMsの初の包括的調査を提供する。
• パラメータ調整とパラメータ凍結アライメントを対比する統一分類法を導入する。
• 新興フロンティアとその課題を特定し、将来のMLLM研究を指導する。
• コミュニティのためにオープンソース資源、データセット、リーダーボードを整理する。

提案手法

• パラメータ調整アライメント（PTA）とパラメータ凍結アライメント（PFA）を分離する新しい分類法を提案する。
• 多言語事前学習、教師ありファインチューニング、RLHF段階にわたるデータ資源を調査する。
• 多言語SFTおよびRLHFデータを、手作成、翻訳、ベンチマーク適応、およびMLLMs支援生成に分類する。
• PTA段階の詳細：事前学習、SFT、RLHF、下流のファインチューニングを例と手法とともに詳述する。
• 4つのPFA prompting戦略の詳細：Direct Prompting、Code-Switching Prompting、Translation Alignment Prompting、および Retrieval Augmented Alignment。

実験結果

リサーチクエスチョン

• RQ1 MLLMsを訓練と推論の全過程で、アライメント戦略に基づいて系統的にどのように分類できるか？
• RQ2 MLLMsを構築・改善するために使用されるデータ資源とプロンプト技術は何か？
• RQ3 安全性、公平性、知識編集を含むMLLMsの新興フロンティアと実務的課題は何か？
• RQ4 MLLMsに取り組む研究者が利用できる資源（データ、論文、リーダーボード）は何か？

主な発見

• 新しい統一分類法は、パラメータ調整アライメントとパラメータ凍結アライメントを区別する。
• PTAには事前学習アライメント、SFTアライメント、RLHFアライメント、および下流ファインチューニングアライメントが含まれる。
• PFAは、Direct Prompting、Code-Switching、Translation Alignment、Retrieval Augmentationなどの prompting 戦略に依存する。
• 本論文は、研究者が迅速にアクセスできるよう、オープンソースソフトウェア、多言語コーパス、リーダーボードなどの豊富な資源をまとめている。
• Translation alignment prompting はクロスリンガル整合に特に効果的であると強調され、Retrieval Augmentation は知識ギャップの埋めに役立つ。