[논문 리뷰] Fine-grained linguistic evaluation for state-of-the-art Machine Translation

Eleftherios Avramidis, Vivien Macketanz외 3명|arXiv (Cornell University)|2020. 10. 13.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 14개 카테고리에 걸쳐 107개의 어휘적 현상에 걸쳐 5,514개 항목으로 구성된 수작업으로 구성된 테스트 세트를 사용하여 11개의 최신 독일어-영어 기계번역 시스템에 대한 세분화된 언어학적 평가를 제시한다. Tohoku와 Huoshan 시스템이 가장 높은 정확도를 기록했지만, 매크로 평균 성능에서 WMT19의 최고 모델을 뛰어넘는 시스템은 없었으며, 모든 시스템에서 관용어, 결과어미 어순, 과거완료 시제 표현에서 지속적인 약점이 드러났다.

ABSTRACT

This paper describes a test suite submission providing detailed statistics of linguistic performance for the state-of-the-art German-English systems of the Fifth Conference of Machine Translation (WMT20). The analysis covers 107 phenomena organized in 14 categories based on about 5,500 test items, including a manual annotation effort of 45 person hours. Two systems (Tohoku and Huoshan) appear to have significantly better test suite accuracy than the others, although the best system of WMT20 is not significantly better than the one from WMT19 in a macro-average. Additionally, we identify some linguistic phenomena where all systems suffer (such as idioms, resultative predicates and pluperfect), but we are also able to identify particular weaknesses for individual systems (such as quotation marks, lexical ambiguity and sluicing). Most of the systems of WMT19 which submitted new versions this year show improvements.

연구 동기 및 목표

• 일반적인 지표를 넘어서, 최신 독일어-영어 기계번역 시스템에 대한 세부적이고 언어학적으로 근거가 있는 평가를 제공하기 위해.
• 현재의 MT 시스템이 성능을 저하시키는 특정 언어 현상, 특히 희귀하거나 복잡한 어형에서의 문제를 규명하기 위해.
• WMT20의 최신 시스템이 이전 해의 최고 성능 모델에 비해 측정 가능한 향상이 있는지 평가하기 위해.
• 체계적이고 인간이 검토한 테스트 세트를 통해 오류 패턴을 정밀하게 특정함으로써, 시스템 개선과 데이터 정제를 지원하기 위해.

제안 방법

• 연구는 5,514개의 테스트 항목을 포함하고 있으며, 14개 카테고리에 걸쳐 107개의 언어학적 현상을 다루는 수작업으로 구성된 DFKI 테스트 세트를 사용한다.
• 각 테스트 항목은 원본 문장과 정답 및 오답 변형을 포함한 다수의 기준 번역을 수반하여, 시스템 출력이 특정 언어학적 기준에 얼마나 잘 맞는지 평가한다.
• 시스템 출력은 규칙 기반 검사(정규 표현식 및 고정 문자열)를 통해 자동으로 평가되며, 모호한 경우 전문 언어학자들이 결정한다.
• 하이브리드 평가 파이프라인은 자동 점수화와 경계 사례에 대한 인간 검토를 결합하여 높은 정밀도를 확보한다.
• 성능는 각 현상별로 정확하게 번역된 테스트 항목의 비율로 측정되며, 모든 현상에 대해 매크로 평균과 마이크로 평균이 계산된다.
• 평가 대상은 WMT20 공동 과제에 참가한 11개 시스템이며, 비교를 위해 WMT19에 참가한 시스템도 포함된다.

실험 결과

연구 질문

• RQ1 어떤 독일어-영어 기계번역 시스템이 세분화된 언어학적 현상에서 가장 높은 정확도를 보였으며, 이전 년도의 시스템과 어떻게 비교되는가?
• RQ2 모든 현재 기계번역 시스템이 일관되게 성능을 저하시키는 특정 언어 현상이 있는가?
• RQ3 최신 버전에서 WMT19의 동일한 시스템에 비해 측정 가능한 향상이 있는 시스템은 무엇인가?
• RQ4 최신 기계번역 시스템에서 가장 흔한 오류 패턴은 무엇이며, 이는 언어학적 카테고리에 따라 어떻게 다를까?

주요 결과

• Tohoku와 Huoshan 시스템이 테스트 세트에서 가장 높은 총합 정확도를 기록했으며, 나머지 9개 시스템을 크게 앞섰다.
• 모든 WMT20 시스템이 모든 현상에 대한 매크로 평균에서 WMT19의 최고 성능 시스템을 뛰어넘는 통계적 유의미한 향상이 없었다.
• 모든 시스템이 관용어, 결과어미 어순, 과거완료 시제 표현에서 어려움을 겪었으며, 이는 복잡한 문법적·의미적 현상 처리에 지속적인 과제임을 시사한다.
• 개별 시스템은 각각 다른 약점이 있었으며, 일부 시스템은 따옴표 처리에 문제가 있었고, 다른 시스템은 어휘적 모호성 문제를 겪었으며, 슬루이싱 어순은 자주 잘못 번역되었다.
• WMT19에서 업데이트된 버전을 제출한 대부분의 시스템에서 측정 가능한 향상이 있었으며, 특히 모odal 동사와 타동사 어순에서 두드러졌다.
• 모든 107개 현상에 대한 마이크로 평균 정확도는 85.3%였고, 현상 매크로 평균은 89.1%에 도달하여 일반적인 현상에서는 뛰어난 성능를 보였지만, 희귀하거나 복잡한 현상에서는 뚜렷한 성능 하락이 있었다.