[논문 리뷰] Distinguishing Translations by Human, NMT, and ChatGPT: A Linguistic and Statistical Approach

Zhaokun Jiang, Qianxi Lv외 2명|arXiv (Cornell University)|2023. 12. 17.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 연구는 언어적 특징과 통계적 방법을 사용하여 인간, NMT, ChatGPT 생성 번역을 구분하며, ChatGPT 번역이 인간 번역보다는 NMT 번역과 통계적·스타일적으로 더 유사하다는 것을 발견했다. 특히 평가적 언어 사용과 다차원적 프로파일 유사성 측면에서 그러한 경향이 두드러지며, 인간 번역가가 더 높은 문화적 민감도와 위험 회피 성향을 보임에도 불구하고 그러한 유사성이 유지된다.

ABSTRACT

The growing popularity of neural machine translation (NMT) and LLMs represented by ChatGPT underscores the need for a deeper understanding of their distinct characteristics and relationships. Such understanding is crucial for language professionals and researchers to make informed decisions and tactful use of these cutting-edge translation technology, but remains underexplored. This study aims to fill this gap by investigating three key questions: (1) the distinguishability of ChatGPT-generated translations from NMT and human translation (HT), (2) the linguistic characteristics of each translation type, and (3) the degree of resemblance between ChatGPT-produced translations and HT or NMT. To achieve these objectives, we employ statistical testing, machine learning algorithms, and multidimensional analysis (MDA) to analyze Spokesperson's Remarks and their translations. After extracting a wide range of linguistic features, supervised classifiers demonstrate high accuracy in distinguishing the three translation types, whereas unsupervised clustering techniques do not yield satisfactory results. Another major finding is that ChatGPT-produced translations exhibit greater similarity with NMT than HT in most MDA dimensions, which is further corroborated by distance computing and visualization. These novel insights shed light on the interrelationships among the three translation types and have implications for the future advancements of NMT and generative AI.

연구 동기 및 목표

• ChatGPT가 생성한 번역이 인간 번역과 NMT 번역과 통계적으로 구분될 수 있는지 조사하기 위해.
• 각 번역 유형—인간, NMT, ChatGPT—의 어휘적, 문법적, 텍스트적 특징을 기반으로 한 독특한 언어적 특징을 규명하기 위해.
• 스타일적 및 구조적 차원에서 ChatGPT 번역이 인간 번역과 NMT 출력 중 어느 쪽에 더 가까이 있는지 판단하기 위해.
• 전문 번역가의 문화적 민감도와 맥락 적응 능력 등의 고유한 강점을 규명함으로써 향후 NMT 및 생성형 AI의 발전을 지원하기 위해.
• 감독 분류, 비감독 클러스터링, 다차원 분석(MDA)을 활용한 번역 유형을 식별하는 방법론적 프레임워크를 제공하기 위해.

제안 방법

• 형식성과 즉흥성의 특성을 동시에 지닌 '대변인 성명서'의 중국어-영어 번역을 전용 코퍼스로 구축하였다.
• 비교 분석을 위해 어휘적, 문법적, 텍스트적 수준에서 광범위한 언어적 특징을 추출하였다.
• 감독 학습 기반 기계 학습 분류기들을 적용하여 높은 정확도로 번역 유형을 구분하였으며, 반면 비감독 클러스터링은 만족스러운 결과를 도출하지 못했다.
• 기본적인 스타일 차원을 규명하고 번역 유형 간 비교를 위해 다차원 분석(MDA)을 활용하였다.
• 유클리드 거리 계산 및 t-SNE 시각화를 통해 번역 유형 간 상대적 유사성을 평가하였다.
• z-변환된 차원 점수를 사용하여 인간, NMT, ChatGPT 번역 간 스타일적 프로파일을 정량적으로 비교하였다.

실험 결과

연구 질문

• RQ1 ChatGPT가 생성한 번역은 통계적으로 인간 번역과 NMT 번역과 구분될 수 있는가?
• RQ2 인간, NMT, ChatGPT가 생성한 번역의 독특한 언어적 및 스타일적 특징은 무엇인가?
• RQ3 언어적 프로파일과 유사성 측면에서 ChatGPT가 생성한 번역은 인간 번역과 NMT 출력 중 어느 쪽에 더 가까운가?
• RQ4 MDA로 규명된 스타일 차원은 세 번역 유형을 어떻게 구분하는가?
• RQ5 이러한 차이의 의미는 전문 번역 워크플로우에 AI 번역 도구를 통합하는 데 있어 향후에 어떤 영향을 미칠 수 있는가?

주요 결과

• 감독 분류기들은 인간, NMT, ChatGPT 번역 간의 구분에 높은 정확도를 기록하여 강력한 통계적 가분성을 입증하였다.
• 비감독 클러스터링 기법은 의미 있는 군집을 도출하지 못하여, 번역 유형 간의 차이가 단순히 클러스터링으로서 쉽게 포착되지 않는다는 점을 시사한다.
• z-변환 점수와 박스플롯 분포를 통해, ChatGPT 번역은 MDA 차원의 다섯 개 중 네 개에서 NMT 번역보다 인간 번역보다 유사성을 보였다.
• 평가적 및 태도 표현은 ChatGPT 및 NMT 번역에서 더 빈번하게 나타났으며, 인간 번역가는 이들 표현을 덜 사용한 것으로 보이며, 외교적 맥락에서의 위험 회피 성향 때문일 가능성이 있다.
• 거리 계산 및 t-SNE 시각화 결과, ChatGPT 번역은 인간 번역보다 NMT 번역과 더 가까이 위치해 있음을 확인하였으며, 인간 번역과 NMT 번역 간 거리가 가장 컸다.
• 유창성과 자연스러움의 향상에도 불구하고, ChatGPT 및 NMT 번역은 여전히 전문 인간 번역에서 흔히 볼 수 있는 문화적 민감도, 언어적 융통성, 맥락 적응 능력에 빠져 있다.