[論文レビュー] Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach

Zhaokun Jiang, Qianxi Lv+2 more|arXiv (Cornell University)|Dec 17, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

本研究では、言語的特徴と統計的手法を用いて、人間翻訳、NMT、ChatGPT生成翻訳を区別し、ChatGPT翻訳が人間翻訳よりもNMTに統計的・スタイル的に近いことが判明した。特に評価的表現の使用や多次元的プロファイルの類似性において顕著であるが、人間翻訳者は文化的感受性とリスク回避性に優れている。

ABSTRACT

The growing popularity of neural machine translation (NMT) and LLMs represented by ChatGPT underscores the need for a deeper understanding of their distinct characteristics and relationships. Such understanding is crucial for language professionals and researchers to make informed decisions and tactful use of these cutting-edge translation technology, but remains underexplored. This study aims to fill this gap by investigating three key questions: (1) the distinguishability of ChatGPT-generated translations from NMT and human translation (HT), (2) the linguistic characteristics of each translation type, and (3) the degree of resemblance between ChatGPT-produced translations and HT or NMT. To achieve these objectives, we employ statistical testing, machine learning algorithms, and multidimensional analysis (MDA) to analyze Spokesperson's Remarks and their translations. After extracting a wide range of linguistic features, supervised classifiers demonstrate high accuracy in distinguishing the three translation types, whereas unsupervised clustering techniques do not yield satisfactory results. Another major finding is that ChatGPT-produced translations exhibit greater similarity with NMT than HT in most MDA dimensions, which is further corroborated by distance computing and visualization. These novel insights shed light on the interrelationships among the three translation types and have implications for the future advancements of NMT and generative AI.

研究の動機と目的

• ChatGPTが生成した翻訳が、人間翻訳およびNMT翻訳と区別可能かどうかを調査すること。
• 語彙的、構文的、文脈的特徴の観点から、各翻訳タイプ（人間、NMT、ChatGPT）の特徴的な言語的特徴を同定すること。
• ChatGPTが生成した翻訳が、スタイル的および構造的次元において、人間翻訳とNMT出力のどちらにより類似しているかを特定すること。
• 文化的感受性および文脈適合性の面で人間翻訳者の独自の強みを同定することで、将来的なNMTおよび生成的AIの開発を支援すること。
• 教師あり分類、教師なしクラスタリング、多次元分析（MDA）を用いた翻訳タイプを区別するための方法論的フレームワークを提供すること。

提案手法

• 形式的で即興的な要素を併せ持つ「発言者発表文」の中国語→英語翻訳を対象とする専用コーパスを構築した。
• 比較的分析を可能にするために、語彙的、構文的、文脈的レベルの広範な言語的特徴を抽出した。
• 教師あり機械学習分類器を適用し、高い正確性で翻訳タイプを区別したが、教師なしクラスタリングでは満足のいく結果が得られなかった。
• 多次元分析（MDA）を用いて、背後にあるスタイル的次元を同定し、それらの次元に沿って翻訳タイプを比較した。
• ユーグリッド距離を計算し、t-SNE可視化を用いて翻訳タイプ間の相対的な類似性を評価した。
• z変換された次元スコアを用いて、人間、NMT、ChatGPT翻訳のスタイルプロファイルを定量的に比較した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTが生成した翻訳は、統計的に人間翻訳およびNMT翻訳と区別可能か？
• RQ2 人間、NMT、ChatGPTが生成した翻訳の特徴的な言語的・スタイル的特徴は何か？
• RQ3 ChatGPTが生成した翻訳は、言語的プロファイルおよび類似性の観点から、人間翻訳とNMT出力のどちらにより類似しているか？
• RQ4 MDAによって同定されたスタイル的次元は、3つの翻訳タイプをどのように区別するか？
• RQ5 これらの差異は、将来的にAI翻訳ツールをプロフェッショナルな翻訳ワークフローに統合するにあたり、どのような意味を持つのか？

主な発見

• 教師あり分類器は、人間、NMT、ChatGPTが生成した翻訳を区別する際に高い正確性を示し、強い統計的分離可能性を示した。
• 教師なしクラスタリング手法は意味のあるグループ化を生み出せなかったため、翻訳タイプ間の違いが単にクラスタリングによって捉えきれるわけではないことが示された。
• z変換スコアおよびボックスプロット分布から、ChatGPTが生成した翻訳は、MDAの5次元中4次元において、NMT翻訳よりも人間翻訳よりも顕著に類似していた。
• 評価的および態度表現は、ChatGPTおよびNMT翻訳でより頻出していたが、人間翻訳者は、外交的文脈におけるリスク回避的行動のため、それらをあまり使用していなかった。
• 距離計算およびt-SNE可視化により、ChatGPT翻訳がNMT翻訳に人間翻訳よりも近いことが確認された。人間翻訳とNMT翻訳の間で最大の距離が観察された。
• 流暢さと自然さの向上にもかかわらず、ChatGPTおよびNMTは、依然としてプロフェッショナルな人間翻訳に内在する文化的感受性、言語的柔軟性、文脈適合性の能力に欠けている。