[論文レビュー] Towards Making the Most of ChatGPT for Machine Translation

Keqin Peng, Liang Ding+6 more|arXiv (Cornell University)|Mar 24, 2023

Topic Modeling被引用数 17

ひとこと要約

本論文は、温度の調整とタスク固有プロンプト（TSP）およびドメイン固有プロンプト（DSP）を用いて、機械翻訳のためのChatGPTを最適化する方法を調査し、多くの設定で性能の向上を示すとともに、非英語タスクでの幻覚現象と、Chain-of-Thoughtプロンプトによる劣化を強調する。

ABSTRACT

ChatGPT shows remarkable capabilities for machine translation (MT). Several prior studies have shown that it achieves comparable results to commercial systems for high-resource languages, but lags behind in complex tasks, e.g., low-resource and distant-language-pairs translation. However, they usually adopt simple prompts which can not fully elicit the capability of ChatGPT. In this paper, we aim to further mine ChatGPT's translation ability by revisiting several aspects: temperature, task information, and domain information, and correspondingly propose an optimal temperature setting and two (simple but effective) prompts: Task-Specific Prompts (TSP) and Domain-Specific Prompts (DSP). We show that: 1) The performance of ChatGPT depends largely on temperature, and a lower temperature usually can achieve better performance; 2) Emphasizing the task information can further improve ChatGPT's performance, particularly in complex MT tasks; 3) Introducing domain information can elicit ChatGPT's generalization ability and improve its performance in the specific domain; 4) ChatGPT tends to generate hallucinations for non-English-centric MT tasks, which can be partially addressed by our proposed prompts but still need to be highlighted for the MT/NLP community. We also explore the effects of advanced in-context learning strategies and find a (negative but interesting) observation: the powerful chain-of-thought prompt leads to word-by-word translation behavior, thus bringing significant translation degradation.

研究の動機と目的

• プロンプト設計とデコーディング設定がChatGPTのMT品質に与える影響を動機付け、評価する。
• ChatGPTを用いた翻訳タスクの最適な温度設定を特定する。
• MT性能を改善するためにタスク固有プロンプト（TSP）およびドメイン固有プロンプト（DSP）を提案する。
• few-shotプロンプトやChain-of-Thoughtなどのインコンテキスト学習戦略がMTに与える影響を検討する。
• 非英語中心の翻訳における幻覚などの課題を強調する。

提案手法

• 言語方向を横断して翻訳品質を評価するために、ChatGPTの温度を体系的に変化させる。
• プロンプト内で翻訳タスクを強調するために、タスク固有プロンプト（TSP）を導入する。
• ドメイン情報を注入し、クロスドメイン一般化を評価するために、ドメイン固有プロンプト（DSP）を導入する。
• MTのためのFew-shotインコンテキスト学習（ICL）とサンプリング戦略（ランダム、TopK）を評価する。
• Chain-of-Thought promptingを探究し、それが翻訳品質および逐語的翻訳動作に与える影響を検討する。
• Flores-200とクロスドメインデータセット（WMT19 Bio/News、WMT22 E-Commerce）を用い、COMETを主要指標、BLEU/ChrFを補助指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの翻訳品質は、言語とリソースレベル間で温度とともにどのように変化するか。
• RQ2 タスク固有プロンプト（TSP）は、特に低リソース言語や遠い言語に対して、ChatGPTのMT性能を改善するか。
• RQ3 DSPは、翻訳 MT におけるドメイン（Bio、News、E-Commerce）間の一般化を高めるか。
• RQ4 Few-shotインコンテキスト学習とTopKサンプリングは、MT性能にどのような影響を与えるか。
• RQ5 Chain-of-Thought prompting は、ChatGPTのMT品質を改善するのか、それとも低下させるのか、そしてその理由は何か。

主な発見

• 低温度は一般にMT性能を向上させる傾向があり、遠い言語（例：中国語）では高温度での劣化が大きくなる。
• タスク固有プロンプト（TSP）は一貫してChatGPTの性能を向上させ、特に低リソースまたは遠い言語で一部のCOMET利得を達成する。
• ドメイン固有プロンプト（DSP）は特定のドメインでMT性能を向上させ、いくつかのデータセットでGoogle翻訳を上回る場合がある；誤ったドメイン情報の使用（F-DSP）は性能を劣化させる。
• Few-shotインコンテキスト学習（ICL）はゼロショットよりもMT性能を向上させ、TopKサンプリングは一部の言語ペアでGoogle翻訳を上回ることがある。
• Chain-of-Thought prompting は、逐語的翻訳動作を誘発することでMT性能を著しく低下させる。ゼロショットと1ショットCoTには混合結果が見られる。
• ChatGPTは非英語中心のMTタスクで幻覚を起こす傾向がある；DSPと後処理を適用することで幻覚を減らすことができるが、完全には排除できない。