[논문 리뷰] Automatic Evaluation and Analysis of Idioms in Neural Machine Translation

Christos Baziotis, Prashant Mathur외 1명|arXiv (Cornell University)|2022. 10. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 수작업으로 작성된 블록리스트가 필요 없이 신경 기계 번역(NMT)에서의 문장 그대로 번역 오류를 탐지하기 위한 새로운 자동 평가 지표인 LitTER를 소개한다. 단일 언어 사전 훈련을 통해 저자들은 심지어 제로샷 설정에서도 관용어 번역 성능 향상을 입증하였으며, 사전 훈련이 맥락 이해 능력을 향상시키고 문장 그대로 번역 오류를 줄이는 데 기여함을 보여준다.

ABSTRACT

A major open problem in neural machine translation (NMT) is the translation of idiomatic expressions, such as "under the weather". The meaning of these expressions is not composed by the meaning of their constituent words, and NMT models tend to translate them literally (i.e., word-by-word), which leads to confusing and nonsensical translations. Research on idioms in NMT is limited and obstructed by the absence of automatic methods for quantifying these errors. In this work, first, we propose a novel metric for automatically measuring the frequency of literal translation errors without human involvement. Equipped with this metric, we present controlled translation experiments with models trained in different conditions (with/without the test-set idioms) and across a wide range of (global and targeted) metrics and test sets. We explore the role of monolingual pretraining and find that it yields substantial targeted improvements, even without observing any translation examples of the test-set idioms. In our analysis, we probe the role of idiom context. We find that the randomly initialized models are more local or "myopic" as they are relatively unaffected by variations of the idiom context, unlike the pretrained ones.

연구 동기 및 목표

• NMT에서 문장 그대로 번역 오류, 특히 관용어에 대한 자동으로 타겟팅된 평가 방법의 부족을 해결한다.
• 이전 방법에서 문장 그대로 번역 오류를 탐지하기 위해 인간이 수작업으로 작성한 블록리스트에 의존하는 문제를 해결한다.
• 단일 언어 사전 훈련이 제로샷 및 소수 샘플 설정에서 관용어 번역 성능 향상에 미치는 영향을 조사한다.
• 맥락의 다양성이 관용어 번역 시 모델 행동에 미치는 영향을 분석하고, 사전 훈련된 모델과 무작위 초기화된 모델을 비교한다.
• LitTER와 정렬 기반 평가 지표를 통합하여 관용어 번역 품질을 종합적으로 평가할 수 있는 통합 평가 프레임워크를 개발한다.

제안 방법

• 이중어사전에서 단어 수준의 블록리스트를 자동으로 생성하고, 기준 번역문을 통해 필터링하여 문장 그대로 번역 오류를 식별하는 LitTER를 제안한다.
• MUSE 이중어사전 임베딩을 사용하여 원천 관용어의 개별 단어를 목표 언어로 번역하여 초벌 후보 블록리스트를 구성한다.
• 기준 번역문에 나타나는 단어는 제거하여, 올바른 번역이 문장 그대로 번역일 경우 거짓 경고를 방지한다.
• 남아 있는 블록리스트 단어가 번역 출력에 포함되어 있는지 점검함으로써 LitTER를 사용해 가설을 평가한다.
• 다른 데이터 분할(시험 세트의 관용어 포함/미포함)을 사용하고 mBART를 활용해 단일 언어 사전 훈련을 수행한 NMT 실험을 제어적으로 수행한다.
• 관용어 주변의 맥락을 다양하게 변화시켜 모델의 번역 결정에 대한 민감도와 불확실성을 평가하기 위해 探색 실험을 수행한다.

실험 결과

연구 질문

• RQ1 수작업으로 작성된 블록리스트에 의존하지 않고도 NMT에서 문장 그대로 번역 오류를 자동으로 탐지할 수 있는가?
• RQ2 시험 세트의 관용어에 대한 병렬 예제가 훈련 중에 전혀 보이지 않는 제로샷 설정에서도 단일 언어 사전 훈련이 관용어 번역 성능 향상에 얼마나 기여하는가?
• RQ3 관용어 주변의 맥락이 모델의 번역 행동에 미치는 영향은 무엇이며, 사전 훈련은 모델이 맥락의 변화에 더 민감하게 반응하도록 하는가?
• RQ4 관용어 번역 시 맥락 인식 능력과 불확실성 측면에서 사전 훈련된 모델과 무작위 초기화된 모델은 어떻게 비교되는가?
• RQ5 LitTER는 정렬 기반 평가 지표와 효과적으로 통합되어 관용어 번역 품질 평가를 더 종합적으로 수행할 수 있는가?

주요 결과

• LitTER는 언어별로 수작업으로 작성된 블록리스트가 필요 없이도 효과적으로 문장 그대로 번역 오류를 탐지하여 확장 가능하고 자동화된 평가를 가능하게 한다.
• mBART를 사용한 단일 언어 사전 훈련은 제로샷 설정에서도 관용어 번역 성능에 상당한 타겟팅된 향상을 가져오며, 훈련 중에 시험 세트의 관용어 병렬 예제가 전혀 없더라도 효과가 있다.
• 사전 훈련된 모델은 관용어 주변 맥락의 변화에 더 민감하게 반응하여, 무작위 초기화된 모델에 비해 더 높은 맥락 이해 능력을 보인다.
• 무작위 초기화된 모델은 더 '편협한 시각'을 가진다—맥락 변화에 덜 영향을 받기 때문에 맥락 인식 능력이 떨어진다.
• 사전 훈련된 모델에서는 문장 그대로 번역 오류의 빈도가 상당히 감소하여, 사전 훈련이 비조합적 어구 이해 능력을 향상시킨다는 것을 입증한다.
• LitTER는 관용어 전용 오류를 효과적으로 분리할 수 있으며, BLEU와 같은 글로벌 평가 지표와 결합할 경우 관용어 번역 성능 평가에 더 세밀한 시각을 제공한다.