[論文レビュー] Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs

Xiang Zhang, Senyu Li+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、大規模言語モデル（LLMs）の多言語能力を体系的に評価するための新規フレームワークを導入し、GPT-3.5のようなモデルが、推論において母語として英語に強く依存する『劣位的多言語主義』を示すことが明らかになった。これは、特に翻訳変化型タスクにおいて、英語以外の入力で性能が低下することを意味する。著者らは、言語依存的性能を評価するための応答バックトランスレーション（RBT）を提案し、タスクを3つに分類する：推論、知識アクセス、表現。

ABSTRACT

Large Language Models (LLMs) have demonstrated exceptional natural language understanding abilities and have excelled in a variety of natural language processing (NLP)tasks in recent years. Despite the fact that most LLMs are trained predominantly in English, multiple studies have demonstrated their comparative performance in many other languages. However, fundamental questions persist regarding how LLMs acquire their multi-lingual abilities and how performance varies across different languages. These inquiries are crucial for the study of LLMs since users and researchers often come from diverse language backgrounds, potentially influencing their utilization and interpretation of LLMs' results. In this work, we propose a systematic way of qualifying the performance disparities of LLMs under multilingual settings. We investigate the phenomenon of across-language generalizations in LLMs, wherein insufficient multi-lingual training data leads to advanced multi-lingual capabilities. To accomplish this, we employ a novel back-translation-based prompting method. The results show that GPT exhibits highly translating-like behaviour in multilingual settings.

研究の動機と目的

• 大規模言語モデル（LLMs）の多言語能力を体系的に分析すること、特に言語選択がパフォーマンスに与える影響に焦点を当てる。
• 主に英語データで訓練されたLLMsにおける言語間一般化の裏側のメカニズムを調査すること。
• 入力言語への感受性に基づいて、言語依存的タスクを3つに分類すること：推論（感受性が最も低い）、知識アクセス（中程度の感受性）、表現（感受性が最も高い）。
• 新規のプロンプティング技術を用いて、LLMsが複合的、並列的、劣位的多言語主義のいずれを示すかを評価すること。
• 特に翻訳変化型タスクにおいて、非英語入力処理における現在のLLMsの限界を特定すること。

提案手法

• 応答バックトランスレーション（RBT）と呼ばれる新規なプロンプティング手法を提案。モデルの出力を元の言語に再翻訳することで、一貫性と正確性を評価する。
• NLPタスクを3つのカテゴリに分類する：推論（言語感受性が最も低い）、知識アクセス（中程度の感受性）、表現（言語感受性が最も高い）。
• 比較評価フレームワークを採用：複数の言語でタスクを入力し、モデルの出力を生成した後、出力を元の言語にバックトランスレーションして比較する。
• 人間による評価を用いて、英語、スペイン語、中国語の各言語でモデル出力の正しさと言語的一致性を検証する。
• GPT-3.5とLlama2を、ダブルパーソナリティ検出、翻訳、事実知識などのタスクに対してフレームワークを適用し、非英語環境でのパフォーマンス低下を同定する。
• 二言語主義の言語的タイプ（複合的、並列的、劣位的）を分析し、LLMの行動およびモデル内部表現の解釈に用いる。

実験結果

リサーチクエスチョン

• RQ1 GPT-3.5のようなLLMsが、入力言語が英語でない場合に、どの程度言語間で一般化できるか？
• RQ2 推論、知識アクセス、表現の3種類の言語依存的タスクにおいて、LLMsのパフォーマンスはどのように変化するか？
• RQ3 応答パターンとバックトランスレーションの一貫性に基づいて、LLMsが示す多言語主義のタイプ（複合的、並列的、劣位的）は何か？
• RQ4 入力言語が非英語の場合、なぜLLMsは翻訳変化型タスクでは翻訳不変型タスクよりもパフォーマンスが悪くなるのか？
• RQ5 言語的タイプとしての二言語主義を用いることで、LLMsの多言語行動を体系的に分類・評価できるか？

主な発見

• GPT-3.5は、翻訳不変型タスク（例：事実知識、推論）において、入力言語に関係なく優れたパフォーマンスを示し、強固な言語間一般化を示している。
• 翻訳変化型タスク（例：ダブルミーニングの検出、言語固有の表現）では、入力言語が英語でない場合にパフォーマンスが著しく低下し、言語依存的制限が顕著に現れている。
• モデルは明確な劣位的多言語主義の兆候を示しており、他の言語でプロンプトが与えられても、推論や出力生成において英語を母語として強く依存している。
• 応答バックトランスレーション（RBT）は、特に非英語入力において、パフォーマンスの不一致や言語的ドリフトを効果的に特定でき、診断ツールとしての有効性を裏付けた。
• Llama2は顕著な制限を示した：頻繁に応答を拒否し、英語にデフォルトで切り替わり、非英語環境では低内容または意味のない出力を生成した。
• 本研究は、現在のLLMsが真の複合的多言語モデルではなく、トレーニングデータの不均衡と並列コーパスの不足が、言語間で共通の普遍的表現の構築を制限していると結論づけた。