[論文レビュー] Chain-of-Dictionary Prompting Elicits Translation in Large Language Models

Hongyuan Lu, Haoran Yang+4 more|arXiv (Cornell University)|May 11, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本稿では、多言語辞書を外部知識として連結することで、大規模言語モデル（LLMs）の多言語ニューラル機械翻訳（MNMT）性能を向上させるゼロショットプロンプティングフレームワーク、Chain-of-Dictionary Prompting（CoD）を提案する。CoDは、例えばセルビア語（キリル文字）への英語翻訳でchrF++スコアを3.08から42.63まで13倍向上させ、低リソース言語において特に顕著な性能向上を達成する。また、few-shotの文脈学習を上回り、モデルの微調整なしに動作する。

ABSTRACT

Large language models (LLMs) have shown surprisingly good performance in multilingual neural machine translation (MNMT) even when trained without parallel data. Yet, despite the fact that the amount of training data is gigantic, they still struggle with translating rare words, particularly for low-resource languages. Even worse, it is usually unrealistic to retrieve relevant demonstrations for in-context learning with low-resource languages on LLMs, which restricts the practical use of LLMs for translation -- how should we mitigate this problem? To this end, we present a novel method, CoD, which augments LLMs with prior knowledge with the chains of multilingual dictionaries for a subset of input words to elicit translation abilities for LLMs. Extensive experiments indicate that augmenting ChatGPT with CoD elicits large gains by up to 13x chrF++ points for MNMT (3.08 to 42.63 for English to Serbian written in Cyrillic script) on FLORES-200 full devtest set. We further demonstrate the importance of chaining the multilingual dictionaries, as well as the superiority of CoD to few-shot demonstration for low-resource languages.

研究の動機と目的

• 稀な語の翻訳性能が低い、特に低リソース言語において顕著なLLMの限界を是正すること。
• few-shotの文脈学習が、低リソース言語翻訳において関連する例を効果的に取得できないという制限を克服すること。
• モデルの微調整なしに多言語語彙的知識を統合することで、ゼロショット多言語ニューラル機械翻訳（MNMT）の性能を向上させること。
• 単一の語彙的ヒントや非連結のものと比較して、多言語辞書を連結することで推論力と翻訳の正確性が向上することを示すこと。

提案手法

• 標準の翻訳プロンプトに、複数の言語における各単語の訳語を連結した多言語辞書エントリを追加する。例：'limit' → 'Grenze' → 'çäk'。
• Chain-of-Thought（CoT）プロンプティングを模倣し、推論に似た辞書マッピングの段階的連鎖をプロンプトに組み込む。
• 翻訳のクロスリンガル移転性と耐性を高めるために、英語やドイツ語などの高リソース言語をチェーン内の中間リンクとして使用する。
• ChatGPTなどのモデルを、微調整なしにFLORES-200ベンチマークのゼロショット推論にCoDプロンプトを適用する。
• 語の意味的同等性を保つようにチェーンを設計し、翻訳パスが一貫性があり意味的に整合するようにする。
• FLORES-200の全開発テストセットでchrF++を用いて性能を評価し、標準プロンプティングおよびfew-shotの文脈学習と比較する。

Figure 1: An illustration for CoD for English to Tamil translation. CoD consists of two sections: the standard translation prompt (the upper box) and the chained multilingual dictionaries. We highlight by languages the chained dictionary part for CoD , containing the words and their translations in

実験結果

リサーチクエスチョン

• RQ1 多言語辞書を外部知識として連結することで、低リソース言語ペairにおけるゼロショット翻訳性能を顕著に向上させることができるか？
• RQ2 CoDは、低リソース言語の翻訳品質において、few-shotの文脈学習と比較してどのように差をつけるか？
• RQ3 CoDの性能向上は、辞書チェーンの構造に依存しているのか、それとも個別の語彙的ヒントに依存しているのか？
• RQ4 チェーン内の中間言語の選択は、特にラテン文字以外のスクリプトを用いる言語において翻訳性能に影響を与えるか？
• RQ5 CoDは、異なる書記体系を有する言語ペアを含め、多様な言語ペアに一般化可能か？

主な発見

• 英語→セルビア語（キリル文字）翻訳タスクにおいて、CoDはFLORES-200の全開発テストセットでchrF++スコアを最大13倍向上させ、3.08から42.63まで上昇した。
• 多言語辞書の連結は不可欠である。語の対応を分離するか、非連結の辞書を使用すると、顕著に低い性能となる。
• few-shotの文脈学習を上回り、特に関連する例が不足または不適切な低リソース言語において顕著な優位性を示す。
• 英語やドイツ語などの高リソース言語をチェーン内の中間リンクとして使用すると性能が向上するが、類似のターゲット言語を中間リンクに使うと性能が低下する。
• FLORES-200の200の言語ペアすべてで安定した性能を示し、高リソース言語への悪影響は最小限に抑えられており、広範な適用可能性を示している。
• 標準プロンプティングが完全に失敗する言語、例えば低リソースのキリル文字スクリプト言語においてもCoDが翻訳を可能にし、潜在的な翻訳能力を引き出す能力を示している。

Figure 2: An illustrated comparison of 200 languages from English into the languages between the baseline ChatGPT (GPT-3.5-TURBO-0301) and CoD. We sort the language scores in chrF++ for ChatGPT in descending order, and we split the whole figure into two parts for clarity. We present the first half i