[논문 리뷰] Translating Similar Languages: Role of Mutual Intelligibility in Multilingual Transformers

Ife Adebara, El Moatez Billah Nagoudi외 1명|arXiv (Cornell University)|2020. 11. 10.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 이종 언어 쌍 간의 저자원 신경 기계 번역을 이중어 및 다중어 트랜스포머 모델을 사용하여 조사하며, 한 쌍에 대해서는 백트랜슬레이션을 적용한다. 상호 이해 가능성(자카르 유사도로 측정)과 BLEU 성능 사이에 강한 정적 상관관계가 있음을 발견하였으며, 이중어 모델이 다중어 모델을 능가하지만 힌두어-마라티어 쌍을 제외하고, 백트랜슬레이션은 슬로베니아어-크로아티아어 쌍에서 3 BLEU 이상 성능 향상을 이룬다.

ABSTRACT

We investigate different approaches to translate between similar languages under low resource conditions, as part of our contribution to the WMT 2020 Similar Languages Translation Shared Task. We submitted Transformer-based bilingual and multilingual systems for all language pairs, in the two directions. We also leverage back-translation for one of the language pairs, acquiring an improvement of more than 3 BLEU points. We interpret our results in light of the degree of mutual intelligibility (based on Jaccard similarity) between each pair, finding a positive correlation between mutual intelligibility and model performance. Our Spanish-Catalan model has the best performance of all the five language pairs. Except for the case of Hindi-Marathi, our bilingual models achieve better performance than the multilingual models on all pairs.

연구 동기 및 목표

• 저자원 번역을 위한 이중어 및 다중어 트랜스포머 모델의 평가.
• 저자원 환경에서 상호 이해 가능성의 기계 번역 성능에 미치는 영향 조사.
• 한 언어 쌍에 대해 백트랜슬레이션의 효과성 평가.
• 자카르 유사도로 측정한 언어 유사성과 모델 성능(BLEU 점수) 간의 관계 분석.
• 다섯 개 언어 쌍에 걸쳐 번역 품질 측면에서 이중어 및 다중어 모델 아키텍처 비교.

제안 방법

• 각 다섯 개 언어 쌍에 대해 양방향으로 별도의 이중어 트랜스포머 모델을 훈련하며, 1개 GPU를 사용해 7일 동안 훈련.
• 모든 언어를 처리할 수 있는 두 개의 다중어 트랜스포머 모델(각 방향 별로 하나)을 훈련하며, 공유된 표현을 사용해 4개 GPU로 7일 동안 훈련.
• 단일어 모델의 경우, 단일어 목표 언어 데이터에서 가짜 병렬 데이터를 생성함으로써 슬로베니아어-크로아티아어 쌍에 대해 백트랜슬레이션을 적용.
• 다중어 모델에서 언어 토큰을 시작 시퀀스 마커로 사용하여 번역을 목표 언어 정체성에 따라 조건화.
• BPE에서의 디토크나이제이션과 함께 비드 서치(비드 크기 5)를 사용해 검증 및 테스트 세트에서 BLEU 점수로 모델 평가.
• 어휘 수준의 문자 n-그램을 기반으로 Jaccard 유사도를 사용해 언어 쌍 간의 상호 이해 가능성 측정.

실험 결과

연구 질문

• RQ1 저자원 환경에서 Jaccard 유사도로 측정한 상호 이해 가능성과 번역 성능(BLEU 점수) 간의 상관관계는 어떻게 되는가?
• RQ2 저자원 조건에서 유사 언어 번역에 대해 이중어 모델이 다중어 모델을 능가하는가?
• RQ3 백트랜슬레이션은 저자원 유사 언어 쌍의 번역 품질을 어느 정도 향상시키는가?
• RQ4 왜 슬로베니아어-세르비아어(SL-SR) 쌍은 유사도가 높을수록 BLEU 점수가 높아지는 일반적 경향에서 벗어나는가?
• RQ5 모델 아키텍처(이중어 대 다중어)가 언어 유사성과 번역 성능에 어떻게 영향을 미치는가?

주요 결과

• 이중어 모델은 힌두어-마라티어 쌍을 제외한 모든 언어 쌍에서 다중어 모델을 능가했다. 다만, 힌두어-마라티어 쌍에서는 다중어 모델이 더 높은 BLEU 점수(16.35 대 12.14)를 기록했다.
• 스페인어-카탈루냐어 쌍이 검증 세트에서 가장 높은 BLEU 점수(74.85)를 기록하여, 높은 상호 이해 가능성으로 인해 뛰어난 성능을 보였다.
• 백트랜슬레이션은 SL-HR 모델의 BLEU 점수를 3점 이상 향상시켰으며, 최고의 모델은 검증 세트에서 36.89 BLEU 점수를 기록했다.
• 모든 모델에서 Jaccard 유사도와 BLEU 점수 사이에 정적 상관관계가 관찰되었지만, 슬로베니아어-세르비아어 쌍(SL-SR)은 예외로, 더 높은 유사도에도 불구하고 낮은 BLEU 점수를 기록했다.
• 카탈루냐어-스페인어(CA-ES) 쌍의 다중어 모델이 이중어 모델보다 높은 성능을 보였으며, 테스트 세트에서 BLEU 점수는 45.86 대 45.23이었다. 이는 높은 이해 가능성 쌍에서 공유 표현의 이점이 있을 수 있음을 시사한다.
• SL-SR 쌍은 SL-HR 쌍보다 더 높은 Jaccard 유사도를 보였지만, BLEU 성능은 낮았으며(40.80 대 36.89), 이는 유사도 자체가 번역 품질 향상 보장하지 않으며, 구조적 또는 어휘적 차이로 인해 성능 저하가 발생할 수 있음을 시사한다.