[논문 리뷰] Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese

Yuying Ye, Antonio Toral|arXiv (Cornell University)|2020. 06. 15.

Natural Language Processing Techniques참고 문헌 27인용 수 4

한 줄 요약

이 연구는 MQM 프레임워크에 부합하는 맞춤형 오류 분류 체계를 활용하여 영어-중국어 번역을 위한 최신 트랜스포머 및 순환 신경망 기반 기계 번역(NMT) 시스템에 대한 세밀한 인간 평가를 수행한다. 결과적으로 최고의 트랜스포머 시스템은 최고의 순환 모델 대비 총 오류를 31% 감소시켰으며, 특히 유창성, 오역 및 문법 오류에서 유의하게 뛰어나며 22개 오류 유형 중 10개에서 뛰어난 성능을 보였지만, 문체 및 구두점 처리에서는 열등한 성능을 보였다.

ABSTRACT

This research presents a fine-grained human evaluation to compare the Transformer and recurrent approaches to neural machine translation (MT), on the translation direction English-to-Chinese. To this end, we develop an error taxonomy compliant with the Multidimensional Quality Metrics (MQM) framework that is customised to the relevant phenomena of this translation direction. We then conduct an error annotation using this customised error taxonomy on the output of state-of-the-art recurrent- and Transformer-based MT systems on a subset of WMT2019's news test set. The resulting annotation shows that, compared to the best recurrent system, the best Transformer system results in a 31% reduction of the total number of errors and it produced significantly less errors in 10 out of 22 error categories. We also note that two of the systems evaluated do not produce any error for a category that was relevant for this translation direction prior to the advent of NMT systems: Chinese classifiers.

연구 동기 및 목표

• 영어-중국어 번역을 위한 트랜스포머 및 순환 NMT 아키텍처의 세부적인 인간 오류 분석을 수행하기 위해.
• 영어-중국어 번역에 특화된 언어 현상에 맞춘 MQM 호환 오류 분류 체계를 개발하기 위해.
• 최신 순환 모델과 트랜스포머 기반 NMT 시스템 간 오류 패턴의 체계적 차이를 규명하기 위해.
• 역사적으로 문제시되었던 번역 문제들—예: 중국어 수식어와 쌍이 맞지 않는 구두점—이 현대 NMT에서 해결되었는지 평가하기 위해.
• 향후 중국어 NMT 품질 평가 연구를 위한 공개 가능한 주석 및 코드를 제공하기 위해.

제안 방법

• MQM 프레임워크를 기반으로 하여 중국어 수식어, 기능어, 문체 등 언어 특화 문제를 통합한 맞춤형 오류 분류 체계를 개발하였다.
• 이 분류 체계를 활용해, WMT2019 뉴스 테스트 세트로 훈련된 세 개의 NMT 시스템(일반 순환 모델 및 두 개의 트랜스포머 기반 모델)의 출력물에서 오류를 수동 주석 처리하였다.
• 두 명의 주석자가 독립적으로 번역을 평가하였으며, 이면 주석자 간 일致도를 측정하고, 이견은 논의를 통해 해결하였다.
• 오류 유형은 오역, 누락, 추가, 유창성, 문법, 문체 등 22개의 차원으로 분류되었으며, 기능어 및 어순 오류와 같은 하위 유형도 포함되었다.
• 오류 비율 간 유의미성은 대응 t-검정을 사용해 평가하였으며, 각 오류 유형에 대해 p-값을 보고하였다.
• 분석은 1,000단어당 오류 비율을 중심으로 수행되어, 시스템 간 및 오류 유형 간 정량적 비교가 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 및 순환 NMT 시스템은 영어-중국어 번역에서 총 오류 비율 측면에서 어떻게 비교되는가?
• RQ2 어느 특정 오류 유형에서 트랜스포머 아키텍처가 순환 아키텍처를 유의미하게 능가하는가?
• RQ3 역사적으로 문제였던 요소들—예: 중국어 수식어와 쌍이 맞지 않는 구두점 기호—은 현대 NMT 시스템에서 어느 정도 해결되었는가?
• RQ4 트랜스포머 아키텍처는 순환 모델에 비해 새로운 또는 지속적인 약점이 있는가, 특히 문체 정확성 측면에서?
• RQ5 트랜스포머 모델에서 관찰되는 오류 패턴은 향후 아키텍처나 미세조정 개선을 위한 잠재적 방향을 시사하는가?

주요 결과

• 최고의 트랜스포머 시스템(PATECH)은 최고의 순환 모델 대비 총 오류 비율을 31% 감소시켰으며, 비율은 각각 11.85%와 17.93%였다.
• 트랜스포머 시스템은 22개 오류 유형 중 10개에서 유의미하게 더 적은 오류를 기록하였으며, 오역(4.50% 대비 7.49%), 유창성(3.56% 대비 6.45%), 문법(1.83% 대비 3.08%)에서 뚜렷한 개선을 보였다.
• 트랜스포머 시스템은 오역 오류에서 33% 감소, 유창성 오류에서 45% 감소를 기록하였다.
• 전반적인 개선에도 불구하고, 트랜스포머 시스템은 문체 관련 오류에서 순환 모델보다 열등한 성능을 보였으며, 특히 구두점(0.37% 대비 0.20%)과 불필요한 기호(0.37% 대비 0.20%) 오류에서 높은 비율을 기록하였다.
• '쌍이 맞지 않는 기호' 유형에서는 어느 시스템도 오류를 기록하지 않았으며, 오직 한 시스템(KSAI)만 '수식어' 유형에서 0.16%의 토큰 오류를 기록하여, 이러한 문제들이 현대 NMT에서 대부분 해결되었음을 시사한다.
• 두 트랜스포머 시스템 간 오류 분포에 통계적 유의미한 차이가 없었으며, 최신 트랜스포머 모델 간 높은 일관성을 보였다.