[논문 리뷰] On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation

Wei Zhao, Goran Glavašš외 4명|arXiv (Cornell University)|2020. 05. 03.

Topic Modeling참고 문헌 55인용 수 4

한 줄 요약

이 논문은 M-BERT와 LASER와 같은 다국어 인코더를 사용한 참조 없음 기계 번역(MT) 평가를 조사하며, 주요 한계점으로 상호 번역 간 의미 불일치와 '번역 스타일(translationese)'—직역적이고 저품질의 번역—에 대한 보상 실패를 밝혀낸다. 저자들은 이를 해결하기 위해 다국어 벡터 공간 재정렬과 타겟 측 언어 모델링 통합을 제안하여, 세그먼트 수준에서 인간 평가와의 상관관계가 기준 기반 BLEU보다 5.7점 높아졌다.

ABSTRACT

Evaluation of cross-lingual encoders is usually performed either via zero-shot cross-lingual transfer in supervised downstream tasks or via unsupervised cross-lingual textual similarity. In this paper, we concern ourselves with reference-free machine translation (MT) evaluation where we directly compare source texts to (sometimes low-quality) system translations, which represents a natural adversarial setup for multilingual encoders. Reference-free evaluation holds the promise of web-scale comparison of MT systems. We systematically investigate a range of metrics based on state-of-the-art cross-lingual semantic representations obtained with pretrained M-BERT and LASER. We find that they perform poorly as semantic encoders for reference-free MT evaluation and identify their two key limitations, namely, (a) a semantic mismatch between representations of mutual translations and, more prominently, (b) the inability to punish "translationese", i.e., low-quality literal translations. We propose two partial remedies: (1) post-hoc re-alignment of the vector spaces and (2) coupling of semantic-similarity based metrics with target-side language modeling. In segment-level MT evaluation, our best metric surpasses reference-based BLEU by 5.7 correlation points.

연구 동기 및 목표

• 참조 없이 인간 기준을 회피하는 적대적 설정에서 다국어 인코더가 참조 없음 MT 평가에 얼마나 효과적인지 평가하기 위해.
• 원본 번역과 시스템 번역 간 의미 유사도에 적용되었을 때 최신 다국어 인코더의 내재적 약점을 규명하기 위해.
• 현재 메트릭이 MT 출력에서 흔한 직역적이고 자연스럽지 않은 번역인 '번역 스타일(translationese)'을 탐지하지 못하는 데서 비롯하는 실패 원인을 해결하기 위해.
• 후행 정렬(post-hoc alignment)과 타겟 측 언어 모델링 통합을 통해 참조 없음 MT 평가를 향상시키기 위해.
• 참조 없음 메트릭이 인간 평가와의 상관관계에서 기준 기반 BLEU를 뛰어넘을 수 있음을 입증하기 위해.

제안 방법

• 논문은 M-BERT와 LASER의 다국어 의미 표현을 기반으로 한 참조 없음 MT 메트릭을 평가하며, 워드 무버스 디스턴스(WMD)와 코사인 유사도를 사용한다.
• 서로 번역 간 의미 불일치를 줄이기 위해 약한 지도 학습 기반의 다국어 벡터 공간 재매핑 단계(CLP)를 도입한다.
• 비지도 매핑(UMD)을 적용하여 다국어 임베딩을 정렬함으로써 언어 간 의미 대응을 향상시킨다.
• 다국어 유사도 점수와 타겟 측 언어 모델링(LM)을 결합하여 자연스럽지 않은, '번역 스타일'에 가까운 출력에 대해 보상한다.
• WMT17 및 WMT18 데이터셋을 사용하여 인간 평가(DA 점수)와의 상관관계를 평가한다.
• 가장 뛰어난 메트릭인 Mover-2 + CLP(M-BERT) ⊕ LM은 재정렬과 언어 모델링 통합을 통해 더 뛰어난 내구성을 확보한다.

실험 결과

연구 질문

• RQ1 M-BERT와 LASER와 같은 다국어 인코더가 참조 없음 MT 평가에서 의미 인코더로 효과적으로 기능할 수 있는가?
• RQ2 최신 다국어 메트릭이 참조 없음 환경에서 인간 평가와의 상관관계가 잘 되지 않는 이유는 무엇인가?
• RQ3 벡터 공간 재정렬을 통해 다국어 인코더에서 상호 번역 간 의미 불일치를 어느 정도 줄일 수 있는가?
• RQ4 타겟 측 언어 모델링은 시스템 번역에서 '번역 스타일'을 탐지하고 보상할 수 있는가?
• RQ5 다국어 유사도와 언어 모델링을 통합하면 인간 평가와의 상관관계에서 기준 기반 메트릭인 BLEU를 뛰어넘을 수 있는가?

주요 결과

• M-BERT와 LASER와 같은 다국어 인코더는 상호 번역 간 의미 불일치로 인해 參考 없음 MT 평가에서 성능이 열악하다.
• '번역 스타일'—직역적이고 단어 대 단어 번역—을 탐지하지 못하는 것이 주요 실패 원인이며, 특히 M-BERT에서 두드러진다.
• 후행 다국어 재정렬(CLP)은 의미 불일치를 크게 줄이고 인간 평가와의 상관관계를 향상시킨다.
• 다국어 유사도 점수와 타겟 측 언어 모델링(LM)을 통합하면 자연스럽지 않은 번역을 효과적으로 보상하고 성능을 향상시킨다.
• 최고의 메트릭인 Mover-2 + CLP(M-BERT) ⊕ LM는 기준 기반 BLEU보다 인간 세그먼트 수준 평가와의 상관관계에서 5.7점 높은 성능을 기록한다.
• 단 1,000개의 병렬 문장만으로도 M-BERT 기반 메트릭이 베이스라인을 능가하며, 더 많은 데이터로 갈수록 성능이 곧바로 정점에 도달한다.