[논문 리뷰] Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers

Libo Qin, Qiguang Chen외 7명|arXiv (Cornell University)|2024. 04. 07.

Natural Language Processing Techniques인용 수 12

한 줄 요약

이 논문은 다국어 대형 언어 모델(MLLMs)에 대한 포괄적 조사로, 정렬 전략에 기반한 새로운 분류를 제안하고, 데이터 자원, 최전선, 도전 과제를 조명합니다.

ABSTRACT

Multilingual Large Language Models are capable of using powerful Large Language Models to handle and respond to queries in multiple languages, which achieves remarkable success in multilingual natural language processing tasks. Despite these breakthroughs, there still remains a lack of a comprehensive survey to summarize existing approaches and recent developments in this field. To this end, in this paper, we present a thorough review and provide a unified perspective to summarize the recent progress as well as emerging trends in multilingual large language models (MLLMs) literature. The contributions of this paper can be summarized: (1) First survey: to our knowledge, we take the first step and present a thorough review in MLLMs research field according to multi-lingual alignment; (2) New taxonomy: we offer a new and unified perspective to summarize the current progress of MLLMs; (3) New frontiers: we highlight several emerging frontiers and discuss the corresponding challenges; (4) Abundant resources: we collect abundant open-source resources, including relevant papers, data corpora, and leaderboards. We hope our work can provide the community with quick access and spur breakthrough research in MLLMs.

연구 동기 및 목표

• 다국어 정렬 전략으로 구성된 MLLMs의 최초의 면밀한 조사를 제공한다.
• 매개변수-조정 정렬(PTA)과 매개변수-동결 정렬(PFA)을 대비하는 통합 분류법을 도입한다.
• MLLM 연구를 이끄는 신흥 최전선과 실용적 도전과제를 식별한다.
• 커뮤니티를 위한 오픈소스 자원, 데이터 세트, 리더보드를 정리한다.

제안 방법

• 새로운 분류법을 제안하여 파라미터-조정 정렬(PTA)과 파라미터-동결 정렬(PFA)을 구분한다.
• 다언어 사전학습, 감독 미세조정, 및 RLHF 단계에서 데이터 자원을 조사한다.
• 다국어 SFT 및 RLHF 데이터를 수동 생성, 번역, 벤치마크 적응, 및 MLLMs-지원 생성으로 분류한다.
• PTA 단계: 사전 학습(pretraining), SFT, RLHF, 및 다운스트림 미세조정과 함께 예시와 방법을 상세히 제시한다.
• 네 가지 PFA 프롬프팅 전략: Direct Prompting, Code-Switching Prompting, Translation Alignment Prompting, Retrieval Augmented Alignment를 상세히 다룬다.

실험 결과

연구 질문

• RQ1 MLLMs를 교육과 추론 전반에 걸친 정렬 전략에 따라 체계적으로 어떻게 분류할 수 있는가?
• RQ2 MLLMs를 구축하고 개선하기 위해 어떤 데이터 자원과 프롬프트 기법이 사용되는가?
• RQ3 안전성, 공정성, 지식 편집 등을 포함한 MLLMs의 신흥 최전선과 실용적 도전과제는 무엇인가?
• RQ4 MLLMs에 연구하는 연구자들에게 어떤 자원(데이터, 논문, 리더보드)이 제공되는가?

주요 결과

• 새로운 통합 분류법은 파라미터-튜닝 정렬과 파라미터-동결 정렬을 구분한다.
• PTA는 사전학습 정렬, SFT 정렬, RLHF 정렬, 그리고 다운스트림 파인튜닝 정렬을 포함한다.
• PFA는 Direct Prompting, Code-Switching, Translation Alignment, Retrieval Augmentation 등의 프롬프팅 전략에 의존한다.
• 본 논문은 연구자들의 신속한 접근을 돕기 위해 오픈소스 소프트웨어, 다국어 말뭉치, 리더보드 등 풍부한 자원을 정리한다.
• 번역 정렬 프롬프팅은 다국어 간 정렬에 특히 효과적임이 강조되며, Retrieval Augmentation은 지식 격차를 보충하는 데 도움이 된다.