[논문 리뷰] Towards Making the Most of ChatGPT for Machine Translation

Keqin Peng, Liang Ding외 6명|arXiv (Cornell University)|2023. 03. 24.

Topic Modeling인용 수 17

한 줄 요약

논문은 온도 조정과 Task-Specific Prompts(TSP) 및 Domain-Specific Prompts(DSP)를 활용해 기계 번역용 ChatGPT를 최적화하는 방법을 조사하고, 많은 설정에서 성능이 향상됨을 보여주며 비영어 태스크에서의 현상(환각)과 Chain-of-Thought 프롬 prompting에 의한 degradation를 강조한다.

ABSTRACT

ChatGPT shows remarkable capabilities for machine translation (MT). Several prior studies have shown that it achieves comparable results to commercial systems for high-resource languages, but lags behind in complex tasks, e.g., low-resource and distant-language-pairs translation. However, they usually adopt simple prompts which can not fully elicit the capability of ChatGPT. In this paper, we aim to further mine ChatGPT's translation ability by revisiting several aspects: temperature, task information, and domain information, and correspondingly propose an optimal temperature setting and two (simple but effective) prompts: Task-Specific Prompts (TSP) and Domain-Specific Prompts (DSP). We show that: 1) The performance of ChatGPT depends largely on temperature, and a lower temperature usually can achieve better performance; 2) Emphasizing the task information can further improve ChatGPT's performance, particularly in complex MT tasks; 3) Introducing domain information can elicit ChatGPT's generalization ability and improve its performance in the specific domain; 4) ChatGPT tends to generate hallucinations for non-English-centric MT tasks, which can be partially addressed by our proposed prompts but still need to be highlighted for the MT/NLP community. We also explore the effects of advanced in-context learning strategies and find a (negative but interesting) observation: the powerful chain-of-thought prompt leads to word-by-word translation behavior, thus bringing significant translation degradation.

연구 동기 및 목표

• Prompt 디자인과 decoding 설정이 ChatGPT의 MT 품질에 어떤 영향을 미치는지 동기 부여하고 평가합니다.
• ChatGPT의 번역 작업에 대해 최적의 온도 설정을 식별합니다.
• MT 성능 향상을 위한 Task-Specific Prompts(TSP) 및 Domain-Specific Prompts(DSP)를 제안합니다.
• Few-shot 프롬프트 및 Chain-of-Thought 같은 인-context 학습 전략이 MT에 미치는 영향을 조사합니다.
• 비영어 중심 번역에서의 환각과 같은 도전과제를 하이라이트합니다.

제안 방법

• 언어 방향에 걸쳐 번역 품질을 평가하기 위해 ChatGPT의 온도를 체계적으로 변화시킵니다.
• 프롬프트에서 번역 작업을 강조하기 위해 Task-Specific Prompts(TSP)를 도입합니다.
• 도메인 정보를 주입하고 교차 도메인 일반화를 평가하기 위해 Domain-Specific Prompts(DSP)를 도입합니다.
• MT를 위한 few-shot 인-context 학습(ICL) 및 샘플링 전략(무작위, TopK)을 평가합니다.
• Chain-of-Thought 프롬프트와 이것이 번역 품질 및 단어별 번역 행동에 미치는 영향을 탐구합니다.
• Flores-200 및 교차 도메인 데이터셋(WMT19 Bio/News, WMT22 E-Commerce)과 COMET을 주요 지표로, BLEU/ChrF를 보조 지표로 사용합니다.

실험 결과

연구 질문

• RQ1 온도에 따라 언어와 자원 수준이 다른 상황에서 ChatGPT의 번역 품질이 어떻게 달라합니까?
• RQ2 Task-Specific Prompts(TSP)가 특히 저자원 또는 먼 언어에서 ChatGPT의 MT 성능을 향상시킵니까?
• RQ3 Domain-Specific Prompts(DSP)가 MT에서 도메인 간 일반화를 향상합니까(Bio, News, E-Commerce)?
• RQ4 Few-shot 인-context 학습과 TopK 샘플링이 MT 성능에 미치는 영향은?
• RQ5 Chain-of-Thought 프롬프트가 ChatGPT의 MT 품질을 향상시키거나 악화시키는가, 그리고 그 이유는?

주요 결과

• 더 낮은 온도에서 일반적으로 MT 성능이 더 좋으며, 먼 언어(예: Chinese)에서 높은 온도일 때의 악화가 더 큽니다.
• Task-Specific Prompts(TSP)는 특히 저자원 또는 먼 언어에서 ChatGPT의 MT 성능을 일관되게 향상시키며, 일부 COMET 이득이 있습니다.
• Domain-Specific Prompts(DSP)는 특정 도메인에서 MT 성능을 개선하고 일부 데이터셋에서는 Google Translator를 능가할 수 있습니다; 잘못된 도메인 정보를 사용하는 F-DSP는 성능이 저하됩니다.
• Few-shot 인-context 학습(ICL)은 제로샷보다 MT 성능을 개선하며, TopK 샘플링은 일부 언어쌍에서 Google Translator를 능가하기도 합니다.
• Chain-of-Thought 프롬프트는 단어별 번역 행동을 유도함으로써 MT 성능을 크게 저하시킵니다; 제로샷 및 1-shot CoT는 혼합된 결과를 보입니다.
• ChatGPT는 비영어 중심 MT 작업에서 환각하는 경향이 있습니다; DSP 적용 및 후처리가 환각을 감소시킬 수는 있지만 제거하진 못합니다.