[논문 리뷰] On the Evaluation of Machine Translation for Terminology Consistency

Md Mahfuz ibn Alam, Antonios Anastasopoulos외 5명|arXiv (Cornell University)|2021. 06. 22.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 용어 일관성 평가를 위한 메트릭스 세트를 제안한다. 문장 수준 메트릭스(예: TERm)와 용어 전용 측정치(정확한 일치 정확도 및 용어 윈도우 오버랩)를 결합한다. 저자들은 다섯 개 언어에서 코로나19 데이터를 대상으로 한 실험을 통해 이러한 메트릭스가 용어를 올바르게 적용하는 번역 시스템과 그렇지 않은 시스템을 효과적으로 구분함을 입증하였으며, 용어 오류 탐지 능력에서 표준 메트릭스인 BLEU를 능가함을 보였다.

ABSTRACT

As neural machine translation (NMT) systems become an important part of professional translator pipelines, a growing body of work focuses on combining NMT with terminologies. In many scenarios and particularly in cases of domain adaptation, one expects the MT output to adhere to the constraints provided by a terminology. In this work, we propose metrics to measure the consistency of MT output with regards to a domain terminology. We perform studies on the COVID-19 domain over 5 languages, also performing terminology-targeted human evaluation. We open-source the code for computing all proposed metrics: https://github.com/mahfuzibnalam/terminology_evaluation

연구 동기 및 목표

• NMT 출력에서 용어 일관성을 특별히 측정하는 평가 메트릭스의 부족을 해결하기 위해.
• 특정 도메인 용어를 정확히 적용하는지 여부를 탐지할 수 있는 메트릭스를 개발하기 위해, 특히 제약 있는 디코딩 또는 용어 보강 설정에서의 적용을 고려하여.
• 메트릭스 성능을 인간 애너테이션 데이터와 비교하여 인간 판단과의 일치 여부를 확보하기 위해.
• 표준 메트릭스인 BLEU가 용어 일관성 결함이 존재함에도 불구하고 이를 탐지하지 못함을 입증하기 위해.
• 재현 가능성과 NMT 평가 파이프라인에의 광범위한 도입을 위해 오픈소스 코드를 제공하기 위해.

제안 방법

• 세 가지 핵심 메트릭스 제안: TERm(용어에 대한 TER 점수의 1 - 값), 정확한 일치 정확도(정확히 번역된 용어 비율), 용어 윈도우 오버랩(번역된 용어 주변의 의미적 맥락 일관성).
• TICO-19 용어 및 테스트 세트를 사용하여 다섯 개 언어 쌍(예: 영어-프랑스어, 영어-러시아어)에서 제약 및 비제약 NMT 시스템의 번역 출력에 이러한 메트릭스를 적용한다.
• 메트릭스 성능을 검증하기 위해 이중어 구사자들이 용어가 정확히 번역되었는지, 맥락이 유지되었는지 평가하는 인간 애너테이션 데이터를 사용한다.
• 문장 수준 메트릭스(BLEU, TERm 등)와 용어 전용 메트릭스를 조합하여, 올바른 vs. 잘못된 용어 번역을 구분하는 데서의 분류 능력을 평가한다.
• 용어 보강 NMT 시스템(TLA)의 출력을 평가하여, 용어 처리 능력 향상 여부를 점검한다.
• 통계적 유의성 검정(p-값)을 사용하여 메트릭스와 인간 판단 간 상관관계를 평가하며, p > 0.2인 결과는 제외한다.

실험 결과

연구 질문

• RQ1 기존의 NMT 평가 메트릭스인 BLEU는 용어 번역의 일관성 결함을 탐지할 수 있는가?
• RQ2 제안된 메트릭스(TEM, 윈도우 오버랩, 정확한 일치)는 인간 판단과 용어 번역 정확도에 얼마나 잘 상관되는가?
• RQ3 문장 수준 메트릭스와 용어 전용 메트릭스의 조합은 용어를 정확히 적용하는 시스템과 그렇지 않은 시스템을 효과적으로 구분할 수 있는가?
• RQ4 용어 보강 NMT 시스템은 기본 시스템 대비 용어 일관성에서 어느 정도 향상되는가?
• RQ5 윈도우 오버랩은 MT 출력에서 맥락적으로 적절한 용어 사용 여부를 신뢰할 수 있는 지표인가?

주요 결과

• 표준 메트릭스인 BLEU는 용어 번역이 정확한지 잘못된지에 대해 유의미한 차이를 보이지 않아, 용어 일관성 평가에 효과적이지 않다.
• TERm 메트릭스만으로는 용어 번역의 정확성과 오류를 구분하지 못한다. 이는 용어 전용 맥락을 고려하지 않기 때문이다.
• TERm과 용어 윈도우 오버랩의 조합은 강력한 분류 능력을 보이며, 90%의 잘못된 또는 누락된 용어 번역이 낮은 윈도우 오버랩 점수를 기록함을 확인하였다.
• 인간 애너테이션 결과는 높은 윈도우 오버랩 점수가 정확한 용어 번역과 강하게 상관됨을 확인한다(그림 3의 파란 점), 반면 낮은 점수는 오류와 관련이 있음을 보여주며, 이는 높은 탐지 정밀도를 의미한다.
• 용어 보강 NMT 시스템(TLA)은 목표 어간자 표기 방식을 통해 용어를 통합함으로써, 네 개 언어 쌍(En-Ger, En-Est, En-Lit, En-Lat)에서 모든 용어 일관성 메트릭스에서 기본 시스템을 뛰어넘는 성능을 보였다.
• 본 연구는 정확한 일치 정확도 및 윈도우 오버랩과 같은 메트릭스가 표준 코퍼스 수준 메트릭스보다 용어 처리에 더 민감하게 반응함을 입증하였으며, 특히 자원이 적거나 긴급 상황 도메인(코로나19 등)에서 그러한 경향이 두드러진다.