[論文レビュー] Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models

Chaoqun Liu, Wenxuan Zhang+3 more|arXiv (Cornell University)|Mar 15, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本研究では、多言語クエリを英語に翻訳することが、大規模言語モデル（LLM）にとって最適であるかどうかを検証しており、英語中心のLLMでは翻訳により非英語NLPタスクのパフォーマンスが向上するが、文化的に重要なタスクでは、母語でのプロンプト入力が翻訳を上回ることを発見した。主な貢献は、翻訳を万能な解決策として利用するのではなく、すべての言語で同等の習得度を持つ多言語LLMの開発を提唱することにある。

ABSTRACT

Large language models (LLMs) have demonstrated multilingual capabilities, yet they are mostly English-centric due to the imbalanced training corpora. While prior works have leveraged this bias to enhance multilingual performance through translation, they have been largely limited to natural language processing (NLP) tasks. In this work, we extend the evaluation to real-world user queries and non-English-centric LLMs, offering a broader examination of multilingual performance. Our key contribution lies in demonstrating that while translation into English can boost the performance of English-centric LLMs on NLP tasks, it is not universally optimal. For culture-related tasks that need deep language understanding, prompting in the native language proves more effective as it better captures the nuances of culture and language. Our experiments expose varied behaviors across LLMs and tasks in the multilingual context, underscoring the need for a more comprehensive approach to multilingual evaluation. Therefore, we call for greater efforts in developing and evaluating LLMs that go beyond English-centric paradigms.

研究の動機と目的

• 多言語クエリを英語に翻訳することで、さまざまな言語におけるLLMのパフォーマンスを向上させる有効性を評価すること。
• 実世界およびNLPベンチマークの状況において、翻訳ベースのプロンプト戦略と母語・クロスリンガルプロンプト戦略を比較すること。
• 英語中心のLLMが翻訳によって恩恵を受けるのか、あるいは文化的に繊細なタスクでは母語でのプロンプト入力が優れた結果をもたらすのかを調査すること。
• 非英語言語に最適化された多言語LLMが、文化的理解が深く必要なタスクでどれほど優れたパフォーマンスを示すかを評価すること。
• 翻訳を代替手段として利用するのではなく、すべての言語でバランスの取れた能力を持つ真の多言語LLMの開発を提唱すること。

提案手法

• Llama-2、Mistral、Llama-70B、ChatGPTなどの複数のLLMと、Google Translate、NLLB、XLTなどの翻訳ツールを用いて、プロンプト戦略を比較する制御実験を実施すること。
• プロンプト戦略の評価：母語ベース、母語CoT（思考の連鎖）、英語ベース、英語CoT、XLT（クロスリンガル転送）、Google/NLLBによる翻訳。
• 標準化されたベンチマークの使用：NLPタスク用にMKQA（多言語質問応答）、M3Exam（多言語推論）、XL-sum（多言語要約）。
• ShareGPTから得た実世界の多言語ユーザークエリを用いて、オープンエンドで非構造的なシナリオにおける実用的パフォーマンスを評価すること。
• 一貫性と信頼性を確保するため、LLM-as-a-judgeプロンプトを用いてGPT-4-Turboをジャッジモデルとして採用して応答品質を評価すること。
• 現地の文化的知識が必要かどうかを検出するプロンプトを設計し、文化的に敏感なタスクの的確な分析を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 英語中心のLLMにおいて、多言語クエリを英語に翻訳することが、多様なNLPタスクで一貫してパフォーマンスを向上させるのか？
• RQ2 実世界の多言語ユーザークエリにおいて、母語でのプロンプト入力と翻訳ベースのプロンプト入力は、どのように比較されるのか？
• RQ3 文化的・言語的繊細さが求められるタスクにおいて、翻訳がパフォーマンスを低下させる条件は何か？
• RQ4 非英語言語に最適化された多言語LLMが、母語でプロンプトされた場合に、英語中心のモデルを上回るパフォーマンスを示せるのか？
• RQ5 多言語パフォーマンスを実現するための戦略として、翻訳は十分かつ最適なのか、それとも真の多言語LLMの開発が不可欠なのか？

主な発見

• 低リソース言語では、英語への翻訳によりパフォーマンスが顕著に向上し、Llama-2-70B-Chatではトルコ語タスクでTrans-GoogleがMKQAで47.9のF1を達成した。
• 文化的関連タスクでは、母語でのプロンプト入力が優れた結果を示した。例えば、Llama-2-70B-Chatは中国語タスクで母語プロンプトによりXL-sumで39.7のROUGE-1を達成し、翻訳ベース手法を上回った。
• 中国語やフランス語などの高リソース言語では、CoT（思考の連鎖）を用いた母語プロンプトが一貫して翻訳を上回った。Llama-2-70B-Chatはフランス語タスクで母語CoTにより34.5のROUGE-1を達成した。
• 翻訳ベースのプロンプト（例：Trans-Google）は、言語に依存しないタスク（例：MGSM数学）ではパフォーマンスを向上させたが、現地の文脈が必要な中国語の質問のような文化的に依存するタスクではパフォーマンスが低下した。
• 非英語言語に最適化された多言語LLMは、母語でのパフォーマンスが強く、言語固有のファインチューニングが文化的ニュアンスの理解を深めることを示唆している。
• 本研究の結論として、翻訳は万能的最適戦略ではなく、英語中心モデルの限界を克服するため、真の多言語LLMの開発が不可欠であると結論づけた。