[논문 리뷰] A Challenge Set for French -> English Machine Translation.

Pierre Isabelle, Roland Kühn|arXiv (Cornell University)|2018. 06. 07.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 프랑스어에서 영어로의 기계 번역을 위한 506개 문장으로 구성된 도전 셋을 소개하며, 형태구문적, 어휘구문적, 순수 구문적, 순수 어휘적 차이와 같은 언어학적으로 다를 수 있는 구성 요소를 다룰 수 있는 능력을 시험하기 위해 제작되었다. 2017년 10월과 2018년 1월에 Google 번역과 DeepL에서 평가한 결과, 형태구문적 분야를 제외한 모든 분야에서 DeepL이 Google을 앞서며 총 성공률가 13% 높았고, 어휘적 및 어휘구문적 분야에서 눈에 띄는 진전을 보였다.

ABSTRACT

We present a challenge set for French --> English machine translation based on the approach introduced in Isabelle, Cherry and Foster (EMNLP 2017). Such challenge sets are made up of sentences that are expected to be relatively difficult for machines to translate correctly because their most straightforward translations tend to be linguistically divergent. We present here a set of 506 manually constructed French sentences, 307 of which are targeted to the same kinds of structural divergences as in the paper mentioned above. The remaining 199 sentences are designed to test the ability of the systems to correctly translate difficult grammatical words such as prepositions. We report on the results of using this challenge set for testing two different systems, namely Google Translate and DEEPL, each on two different dates (October 2017 and January 2018). All the resulting data are made publicly available.

연구 동기 및 목표

• 표준 메트릭을 초월한 번역 곤란 요소를 식별하기 위해 프랑스어→영어 기계 번역을 위한 언어 쌍 전용 도전 셋을 개발하기 위해.
• 최신 신경 기반 번역 시스템인 Google 번역과 DeepL이 특정 언어학적 차이 문제에 대해 어떻게 성능을 보이는지 평가하기 위해.
• 미세한 문법적 및 구문적 차이를 다루는 데 있어 남아 있는 과제를 식별하고 시스템의 발전을 추적할 수 있도록 공개된 벤치마크를 제공하기 위해.

제안 방법

• 형태구문적, 어휘구문적, 순수 구문적, 순수 어휘적 유형의 특정 언어학적 차이를 목표로 506개의 프랑스어 문장을 수작업으로 구성하였다.
• 각 문장에는 단일 기준 번역과 특정 언어학 문제에 집중하기 위한 예/아니요 질문이 포함되어 있다.
• 평가 절차는 인간 평가자가 예/아니요 질문에 대해 정답 여부를 판단하는 방식을 사용하며, 이견은 두 명의 저자가 해결한다.
• 시스템은 성능 변화를 추적하기 위해 두 차례의 평가 일자(2017년 10월과 2018년 1월)에 걸쳐 테스트되었다.
• 어휘적 어려움을 겪는 어휘적 요소, 예를 들어 조사와 대명사와 같은 어휘적 어려움을 겪는 어휘적 요소를 다루는 데 199개의 예제가 포함되어 있다.
• 데이터와 평가 판단 결과는 재현 가능성과 비교를 위해 공개되어 있다.

실험 결과

연구 질문

• RQ1 Google 번역과 DeepL과 같은 주요 신경 기반 번역 시스템이 정제된 언어학적 어려움을 겪는 프랑스어→영어 번역 예제에서 어떻게 성능을 보이는가?
• RQ2 프로클리틱 대명사, 동사 시제 표시, 성격 일치와 같은 형태구문적 차이를 얼마나 잘 다루는가?
• RQ3 어휘적 및 구문적 차이, 특히 조사와 반사동사와 관련된 경우에 시스템의 성능은 어떠한가?
• RQ4 2017년 10월과 2018년 1월 사이에 이 도전 셋에서 이러한 시스템의 성능은 어떻게 변화했는가?

주요 결과

• DeepL은 도전 셋에서 총 성공률가 Google 번역보다 13% 높았으며, 순수 어휘적 및 어휘구문적 분야에서 가장 큰 성과 격차를 보였다.
• Google 번역은 2017년 10월에서 2018년 1월 사이에 총 성능이 2.6% 향상되었고, DeepL은 1% 향상되어 더 천천히지만 안정적인 진전을 보였다.
• 형태구문적 차이에서는 두 시스템이 거의 동일한 성능을 보였으며, Google은 7% 향상되었고, DeepL은 4.6% 감소하였다.
• 순수 구문적 차이에서는 Google 번역이 3.5% 감소한 반면, DeepL의 성능은 안정을 유지하여 Google의 구문 처리 능력 저하가 확인되었다.
• 도전 셋은 조사와 문법적 어휘가 맥락에 따라 번역 선택이 달라지는 경우에 시스템이 여전히 크게 어려움을 겪고 있음을 드러냈다.
• 공개된 데이터셋과 평가 판단 결과는 인간 평가와 시스템 평가의 독립적 검증 및 비교를 가능하게 한다.