[논문 리뷰] Identifying Computer-Translated Paragraphs using Coherence Features

Hoang-Quoc Nguyen-Son, Ngoc-Dung T. Tieu외 3명|arXiv (Cornell University)|2018. 12. 28.

Natural Language Processing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 품사(POS) 어절 매칭에서 유도된 통일성 특징을 사용하여 컴퓨터 번역된 텍스트를 문단 수준에서 탐지하는 방법을 제안한다. POSMat 및 MatPen 지표를 도입하여 문단 통일성 점수(ParaCoh)를 계산함으로써, 독일어에서 72.3%의 정확도와 29.8%의 동등 오류률을 달성하였으며, 번역 및 논문 생성 탐지 작업 모두에서 이전 방법들을 능가하였다.

ABSTRACT

We have developed a method for extracting the coherence features from a paragraph by matching similar words in its sentences. We conducted an experiment with a parallel German corpus containing 2000 human-created and 2000 machine-translated paragraphs. The result showed that our method achieved the best performance (accuracy = 72.3%, equal error rate = 29.8%) when it is compared with previous methods on various computer-generated text including translation and paper generation (best accuracy = 67.9%, equal error rate = 32.0%). Experiments on Dutch, another rich resource language, and a low resource one (Japanese) attained similar performances. It demonstrated the efficiency of the coherence features at distinguishing computer-translated from human-created paragraphs on diverse languages.

연구 동기 및 목표

• 컴퓨터 번역된 문단는 인간이 작성한 문단보다 통일성이 낮은 경향이 있기 때문에, 이러한 문제를 해결하고자 한다.
• 문단 수준의 통일성 특징이 기계 번역된 텍스트와 인간이 작성한 텍스트를 효과적으로 구분할 수 있는지 조사하고자 한다.
• 문장 간의 어휘 유사성과 구조적 관계를 활용하여 통일성을 정량화하는 방법을 개발하고자 한다.
• 독일어, 네덜란드어 등 고자원 언어와 일본어 등 저자원 언어를 포함한 다양한 언어에서 방법을 평가하고자 한다.
• 번역 텍스트의 통일성 오류를 식별하여 기계 번역 품질 향상에 기여하고자 한다.

제안 방법

• 문단 내 문장 간 유사한 어휘를 식별하고 점수를 매기기 위해 품사 쌍을 사용하는 POS 기반 어절 매칭 지표인 POSMat을 제안한다.
• 통일성 추정에서 매칭되지 않은 또는 잘못 매칭된 어절 쌍의 영향을 줄이기 위해 매칭 페널티 지표인 MatPen을 도입한다.
• POSMat와 MatPen을 통합하여 전체 문단의 통일성을 수치화하는 유일한 문단 통일성 점수인 ParaCoh를 구성한다.
• ParaCoh 특징에 기반한 선형 분류기(LINEAR)를 사용하여 문단이 인간이 작성한 것인지 기계 번역된 것인지 분류한다.
• 병렬 코퍼스를 활용한다: 2000개의 인간이 작성한 영어 TED 연설 문단와 그에 해당하는 독일어 번역문을 사용하며, 기계 번역 버전은 구글 번역을 통해 생성한다.
• 유사한 병렬 문단 셋을 활용하여 네덜란드어(고자원 언어)와 일본어(저자원 언어)로 평가를 확장한다.

실험 결과

연구 질문

• RQ1 문단 수준의 통일성 특징은 기계 번역된 텍스트와 인간이 작성한 텍스트를 효과적으로 구분할 수 있는가?
• RQ2 문장 수준 또는 문서 수준의 특징과 비교하여, POS 매칭 어절 쌍에 기반한 통일성 특징은 기계 번역을 탐지하는 데 얼마나 효과적인가?
• RQ3 독일어, 네덜란드어, 일본어처럼 자원 수준이 다른 언어 간에 제안된 방법이 일반화되는가?
• RQ4 특정 품사 쌍(예: VB-VBG, VBG-RB)이 번역 오류를 식별하는 데 기여하는 정도는 어느 정도인가?
• RQ5 ParaCoh 지표는 다양한 언어적 맥락에서 기계 번역 품질 평가의 신뢰할 수 있는 대체 지표가 될 수 있는가?

주요 결과

• 제안된 ParaCoh 기반 방법은 독일어 병렬 문단에서 72.3%의 정확도와 29.8%의 동등 오류률을 달성하였으며, 유사한 탐지 작업에서 이전 방법들(67.9% 정확도, 32.0% EER)을 능가하였다.
• 네덜란드어에서는 고자원 언어임에도 불구하고 독일어와 유사한 성능을 기록하여 강력한 다국어 일반화 능력을 보였다.
• 일본어에서는 저자원 언어임에도 불구하고 독일어 및 네덜란드어보다 더 높은 성능을 기록하여 저자원 환경에서의 잠재적 이점이 있음을 시사했다.
• 탐지에 가장 높은 성능을 보인 품사 쌍은 VB-VBG(63.7% 정확도), VBG-RB(63.6%), VBG-NN(63.5%)였으며, 이는 동사와 부사어절 조합이 번역 오류의 강력한 지표임을 시사한다.
• 문서 수준의 분포 기반 탐지기(Labbé와 Labbé, 2013)는 모든 언어에서 가장 열악한 성능을 보였는데, 이는 번역문에서 어휘 분포가 동기화되어 있기 때문이다. 본 방법은 이에 비해 유의미하게 뛰어난 성능을 보였다.
• ParaCoh 특징에 기반한 LINEAR 분류기는 최고의 전체 성능을 기록하였으며, 이는 통일성 지표가 분류에 효과적인 특징임을 확인시켰다.