[논문 리뷰] It's Easier to Translate out of English than into it: Measuring Neural Translation Difficulty by Cross-Mutual Information

Emanuele Bugliarello, Sabrina J. Mielke외 3명|arXiv (Cornell University)|2020. 05. 05.

Natural Language Processing Techniques참고 문헌 33인용 수 9

한 줄 요약

이 논문은 확률적 모델을 활용하여 언어 및 토큰화에 관계없이 신경 기계 번역 난이도를 측정할 수 있는 정보 이론적 지표인 크로스 상호정보(XMI)를 소개한다. XMI는 영어로의 번역이 영어에서의 번역보다 일반적으로 더 쉽다는 것을 드러내며, 원천 측면의 유형-토큰 비율이 난이도의 가장 강력한 예측 변수임을 보여주어, 형태적으로 풍부한 언어가 본질적으로 더 어렵게 번역된다는 가정에 도전한다.

ABSTRACT

The performance of neural machine translation systems is commonly evaluated in terms of BLEU. However, due to its reliance on target language properties and generation, the BLEU metric does not allow an assessment of which translation directions are more difficult to model. In this paper, we propose cross-mutual information (XMI): an asymmetric information-theoretic metric of machine translation difficulty that exploits the probabilistic nature of most neural machine translation models. XMI allows us to better evaluate the difficulty of translating text into the target language while controlling for the difficulty of the target-side generation component independent of the translation task. We then present the first systematic and controlled study of cross-lingual translation difficulties using modern neural translation systems. Code for replicating our experiments is available online at https://github.com/e-bug/nmt-difficulty.

연구 동기 및 목표

• 신경 기계 번역(NMT) 난이도 평가를 위한 교차 언어적으로 비교 가능한 지표의 부족을 해결하기 위해.
• BLEU 및 유사 지표의 한계를 극복하기 위해, n-그램 겹침과 언어별 특성에 의존함으로써 서로 다른 목표 언어 간에 비교가 불가능한 점을 해결하기 위해.
• 목표 언어 측면의 언어 모델링 난이도에서 번역 난이도를 분리하여, 언어 쌍 간의 공정한 비교를 가능하게 하는 방법을 개발하기 위해.
• 현대 신경 모델을 사용하여 교차 언어적 NMT 난이도에 대한 체계적이고 통제된 연구를 수행하기 위해.

제안 방법

• 보류된 테스트 데이터를 사용하여 진짜 분포와 모델 분포 간의 교차 엔트로피를 기반으로 한 비대칭 정보 이론적 지표인 XMI를 제안한다.
• 확률적 신경 기계 번역 모델을 사용하여 HqMT(T|S)와 HqMT(S|T)를 추정하며, 이는 번역 방향에서의 모델 불확실성을 나타낸다.
• 언어 모델 엔트로피 HqLM(T)를 XMI(S→T) — 성공적으로 전달된 정보 — 와 잔여 불확실성 HqMT(T|S)로 분해한다.
• 21개 유럽어를 대상으로 XMI를 적용하였으며, 각 언어를 영어로 및 영어에서 다른 언어로 번역하는 데 40개의 NMT 시스템을 훈련시켜 번역 난이도를 측정하였다.
• 목표 언어 측면의 생성 난이도를 통제하기 위해, 모델과 데이터 구조를 동일하게 유지하면서 번역 방향 간의 XMI 값을 비교하였다.
• 유형-토큰 비율(TTR), 단어 수, 단어 겹침 비율과 같은 언어적 특성과 XMI 간의 상관 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 영어로의 번역이 영어에서의 번역보다 더 쉽고, 그 정도는 어느 정도인가?
• RQ2 목표 언어의 형태적 풍부성이 XMI로 측정된 번역 난이도에 어느 정도 영향을 미치는가?
• RQ3 XMI로 측정된 번역 난이도와 가장 강하게 상관관계가 있는 언어적 또는 데이터 관련 특성들은 무엇인가?
• RQ4 동일한 목표 언어로 번역할 경우 XMI는 BLEU와 상관관계가 있는가? 그리고 서로 다른 원천 언어에서 번역할 경우 이 상관관계는 어떻게 분해되는가?
• RQ5 XMI는 목표 언어 측면의 언어 모델링 난이도에서 번역 난이도를 분리하여 공정한 교차 언어 비교를 가능하게 하는가?

주요 결과

• 영어에서 다른 언어로의 번역은 영어로의 번역보다 평균적으로 훨씬 더 쉽다. 이는 영어 → 다른 언어 방향에서 XMI 값이 낮게 나타남으로써 확인된다.
• 동일한 목표 언어로 번역할 경우 XMI는 BLEU와 잘 상관관계가 있다. 이는 XMI가 번역 난이도의 신뢰할 수 있는 대체 지표로 사용될 수 있음을 검증한다.
• 번역 난이도와 목표 언어의 형태적 풍부성 간에 유의미한 상관관계가 없음을 확인하였으며, 이는 이전의 가정에 도전한다.
• 번역 난이도와 유의미하게 상관관계가 있는 유일한 요소는 원천 측면의 유형-토큰 비율(TTR)이며, 이는 원천 언어의 어휘 다양성이 난이도의 주요 결정 요인임을 시사한다.
• XMI는 목표 언어 측면의 언어 모델링 난이도에서 번역 난이도를 성공적으로 분리하여 공정한 교차 언어 비교를 가능하게 하였다.
• 본 연구는 높은 BLEU 점수(예: 영어 → 핀란드어)가 번역이 쉽다는 것을 의미하지는 않음을 보여주며, XMI는 이와 반대로 난이도를 드러낸다.