[論文レビュー] A Paradigm Shift: The Future of Machine Translation Lies with Large Language Models

Chenyang Lyu, Du, Zefeng+8 more|arXiv (Cornell University)|May 2, 2023

Topic Modeling被引用数 29

ひとこと要約

この論文は、スタイル化、対話型、Translation MemoryベースのMTを含む、LLMsを用いた新しい機械翻訳の方向性を概説し、新しい評価パラダイムとプライバシーの考慮を、ChatGPTの例で示しています。

ABSTRACT

Machine Translation (MT) has greatly advanced over the years due to the developments in deep neural networks. However, the emergence of Large Language Models (LLMs) like GPT-4 and ChatGPT is introducing a new phase in the MT domain. In this context, we believe that the future of MT is intricately tied to the capabilities of LLMs. These models not only offer vast linguistic understandings but also bring innovative methodologies, such as prompt-based techniques, that have the potential to further elevate MT. In this paper, we provide an overview of the significant enhancements in MT that are influenced by LLMs and advocate for their pivotal role in upcoming MT research and implementations. We highlight several new MT directions, emphasizing the benefits of LLMs in scenarios such as Long-Document Translation, Stylized Translation, and Interactive Translation. Additionally, we address the important concern of privacy in LLM-driven MT and suggest essential privacy-preserving strategies. By showcasing practical instances, we aim to demonstrate the advantages that LLMs offer, particularly in tasks like translating extended documents. We conclude by emphasizing the critical role of LLMs in guiding the future evolution of MT and offer a roadmap for future exploration in the sector.

研究の動機と目的

• 機械翻訳（MT）の進展のために、LLMsの活用を動機づける。
• スタイライズドMT、インタラクティブMT、Translation MemoryベースMTを含む、LLMsによって可能となる新しいMTの方向性を探る。
• 参照ベースの指標を超える、LLMsを活用した新しいMT評価パラダイムを提案する。
• LLMsを用いたMTにおけるプライバシーの懸念に対処し、基本的なプライバシー保護戦略を議論する。

提案手法

• LLMsによって可能となるいくつかのMTの方向性をブレインストーミングし、スタイライズドMT、インタラクティブMT、TMベースMTなどを明確化する。
• 提案された方向性の実現可能性を示すため、ChatGPTを用いた実例を示す。
• LLMsを活用し、人間的評価や外的評価の視点を含む、MTの潜在的な新しい評価パラダイムについて論じる。
• LLMベースのMTにおけるプライバシーリスクを検討し、基本的な匿名化ベースのプライバシー保護手法を提案する。

Figure 1: Interesting directions for MT using LLMs (e.g. GPT models), including stylized MT, interactive MT, Translation Memory-based MT and new evaluation paradigm for MT using LLMs, as well as privacy concerns.

実験結果

リサーチクエスチョン

• RQ1 LLMsで実現可能になる新しいMTの方向性は何か（例：スタイライズド、インタラクティブ、TMベースMT）？
• RQ2 翻訳メモリと文脈内学習をLLMsと統合してMTを改善するにはどうすればよいか？
• RQ3 伝統的な参照ベースの指標を超えてLLMsを用いたMTを評価するのに適した評価パラダイムは何か？
• RQ4 LLMsを用いたMTのリスクを軽減するためのプライバシー保護手法は何か？

主な発見

• 本論文は、ChatGPTの例を用いて、スタイライズド、インタラクティブ、およびTMベースMTの実現可能性を示している。
• スタイライズドMTは、翻訳においてトーンやフォーマリティなどの文体的特徴を保持でき、詩的なスタイルを含む。
• TMベースMTは、取得した類似翻訳を活用することで、ドメインやスタイルに適した翻訳を提供する可能性を示す。
• LLMを用いたMTの新しい評価パラダイムが議論され、ヒューマン評価、外的評価、そしてLLM支援評価アプローチを含む。
• LLMベースのMTにおけるプライバシーの懸念が指摘され、リスクを軽減するための基本的な匿名化戦略が提案されている。

Figure 2: An example of prompting ChatGPT to translate text from English to Chinese using poetic style.