[論文レビュー] ChatGPT MT: Competitive for High- (but not Low-) Resource Languages

Nathaniel R. Robinson, Perez Ogayo+2 more|arXiv (Cornell University)|Sep 14, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、FLORES-200ベンチマークを用いて、204言語におけるChatGPTの機械翻訳（MT）性能を、NLLB、Google Translate、GPT-4と比較して評価した。高資源言語ではChatGPTが伝統的なMTモデルと同等またはそれを上回るが、低資源言語、特にアフリカ諸言語では84.1%の言語で顕著に性能が劣ることが判明した。

ABSTRACT

Large language models (LLMs) implicitly learn to perform a range of language tasks, including machine translation (MT). Previous studies explore aspects of LLMs' MT capabilities. However, there exist a wide variety of languages for which recent LLM MT performance has never before been evaluated. Without published experimental evidence on the matter, it is difficult for speakers of the world's diverse languages to know how and whether they can use LLMs for their languages. We present the first experimental evidence for an expansive set of 204 languages, along with MT cost analysis, using the FLORES-200 benchmark. Trends reveal that GPT models approach or exceed traditional MT model performance for some high-resource languages (HRLs) but consistently lag for low-resource languages (LRLs), under-performing traditional MT for 84.1% of languages we covered. Our analysis reveals that a language's resource level is the most important feature in determining ChatGPT's relative ability to translate it, and suggests that ChatGPT is especially disadvantaged for LRLs and African languages.

研究の動機と目的

• 204言語（多くの低資源・未代表的言語を含む）の広範かつ多様な言語群において、ChatGPTの機械翻訳能力を評価すること。
• 特に低資源言語（LRLs）の話者にとって、ChatGPTが既存のシステムと比較して信頼できる翻訳ツールとして利用可能かどうかを特定すること。
• 言語リソースレベル、言語的特徴、プロンプト工学の影響がLLMベースMT性能に与える影響を分析すること。
• ChatGPT、GPT-4、Google Translate、NLLBを含む複数のシステム間での翻訳コストを比較すること。
• 低資源環境において、LLMを翻訳に使用する際の適切な使用時機と方法に関する、実用的インサイトをエンドユーザーおよび研究者に提供すること。

提案手法

• FLORES-200ベンチマークを用い、203の非英語言語について、英語からターゲット言語への翻訳を、ChatGPT（gpt-3.5-turbo）で実施。開発テストデータとして1,012文を用いた。
• chrF++スコアを用いて、NLLB（最先端のオープンソースMTモデル）、Google Translate（商業システム）、GPT-4（20言語のサブセット）と比較した。
• ゼロショットおよびフィブショットプロンプトをテストし、LLM翻訳における文脈例の追加による効果を評価した。
• 意思決定木分析を実施し、ChatGPTのMT効果性と最も相関の強い言語的特徴（リソースレベル、文字体系、言語系統など）を同定した。
• OpenAI APIの価格を基に、翻訳1件あたりの推論コストを推定し、ChatGPTと他のシステムとのコスト比較を実施した。
• 言語固有の特徴（リソースレベル、文字体系、言語系統、地理的地域など）を用い、翻訳品質の予測力の評価を実施した。

Figure 1: ChatGPT relative improvement over NLLB chrF, with languages organized by family, script, and number of Wikipedia pages. Red stars represent averages per group. In the bottom plot, languages are grouped into quartiles of equal size (with dotted lines at the Q1, median, and Q3). More expansi

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの翻訳性能は、特に高資源言語と低資源言語を含む広範な言語群において、NLLBなどの伝統的MTモデルと比較してどの程度異なるか？
• RQ2 few-shotプロンプトはChatGPTのMT出力品質をどの程度向上させるか。その向上はエンドユーザーにとってコストパフォーマンスに見合うか？
• RQ3 リソースレベル、文字体系、言語系統などの言語レベル特徴の中で、ChatGPTの翻訳性能を最も強く予測するのはどれか？
• RQ4 ChatGPT、GPT-4、Google Translate、NLLBなどのシステム間で翻訳コストはどのように変動し、エンドユーザーにどのような意味を持つのか？
• RQ5 性能とコストを考慮した場合、ChatGPTは低資源言語およびアフリカ諸言語の話者にとって実用的な翻訳ツールと見なせるか？

主な発見

• ChatGPTは15.9%の言語でNLLBと同等またはそれを上回る性能を示したが、評価された203言語の84.1%でNLLBを下回り、低資源言語における顕著な制限が判明した。
• 高資源言語（HRLs）では、ChatGPTは競争力のある性能を示しており、フランス語（chrF++: 45.8）やスペイン語（49.7）ではNLLBに迫るか、それを上回るスコアを記録した。
• few-shotプロンプトは翻訳品質向上にわずかな改善しかもたらさず、言語間で一貫性や顕著な向上が見られなかったため、エンドユーザーにとっての利点は限定的である。
• 言語リソースレベルがChatGPTのMT性能の最も強い予測要因であり、低資源言語（LRLs）では高資源言語に比べ顕著に低い結果を示した。
• ChatGPTは特にアフリカ諸言語で不利な立場にあり、多くの言語で平均chrF++スコアが20.0未満であった（例：isiXhosaは11.5、Tigrinyaは13.3）。Tamashek（1.0）やTamashek（Tfng）（0.2）では極めて低い性能を示した。
• GPT-4は全20言語でChatGPTを上回ったが、コストは1,900%高い。その結果、GPT-4は大多数のユーザーにとって実用的ではなく、ChatGPTは性能が低いものの、コストパフォーマンスに優れている。

Figure 2: Decision tree predicting ChatGPT relative improvement over NLLB chrF, from language features.