[논문 리뷰] The FLoRes Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English

Francisco Guzmán, Peng‐Jen Chen외 6명|arXiv (Cornell University)|2019. 02. 04.

Natural Language Processing Techniques인용 수 12

한 줄 요약

이 논문은 전문 번역가가 번역한 위키백과 문장들에서 유래한 저자원 저자원 네팔리–영어 및僧伽라–영어 기계 번역을 위한 FLoRes 평가 데이터셋을 소개한다. 최신의 준감독 및 다국어 방법을 사용함에도 BLEU 점수는 여전히 낮다 (예: 15.1, 영어–僧伽라어). 이는 도메인 불일치와 문법적·구문적으로 거리가 먼 언어에서의 저자원 기계 번역 기술 향상의 필요성을 드러낸다.

ABSTRACT

For machine translation, a vast majority of language pairs in the world are considered low-resource because they have little parallel data available. Besides the technical challenges of learning with limited supervision, it is difficult to evaluate methods trained on low-resource language pairs because of the lack of freely and publicly available benchmarks. In this work, we introduce the FLoRes evaluation datasets for Nepali-English and Sinhala-English, based on sentences translated from Wikipedia. Compared to English, these are languages with very different morphology and syntax, for which little out-of-domain parallel data is available and for which relatively large amounts of monolingual data are freely available. We describe our process to collect and cross-check the quality of translations, and we report baseline performance using several learning settings: fully supervised, weakly supervised, semi-supervised, and fully unsupervised. Our experiments demonstrate that current state-of-the-art methods perform rather poorly on this benchmark, posing a challenge to the research community working on low-resource MT. Data and code to reproduce our experiments are available at https://github.com/facebookresearch/flores.

연구 동기 및 목표

• 네팔리–영어 및 영어–僧伽라라어와 같은 저자원 언어 쌍에 대해 공개 가능하고 고품질의 평가 벤치마크가 부족한 문제를 해결하기 위해.
• 실제 저자원 환경에서의 번역 과제를 반영하는 신뢰할 수 있는 전문 번역 데이터셋을 구축하기 위해.
• 최신 기계 번역 모델이 이 새로운 벤치마크에서 성능 격차와 연구 과제를 밝혀내기 위해 평가하기 위해.
• 학습 데이터와 테스트 데이터 간의 도메인 불일치가 저자원 환경에서 번역 품질에 미치는 영향을 분석하기 위해.
• 자유로운 데이터와 코드 제공을 통해 저자원 기계 번역 기법 간의 공정하고 재현 가능한 비교를 촉진하기 위해.

제안 방법

• 네팔리 및 영어 위키백과에서 기사들을 추출하여 전문 번역가가 영어로 번역한 평행 문장을 수집하였다.
• 균형 잡힌 평가를 확보하기 위해 각 언어 쌍당 약 2,900개의 문장이 포함된 세 가지 세트(튜닝, 개발, 테스트)를 구성하였다.
• 교차 검증 및 유창성 평가를 통해 인간 기준 번역의 높은 신뢰성을 확보하기 위해 철저한 품질 점검을 실시하였다.
• 완전 감독, 약한 감독(Paracrawl 사용), 준감독(역번역), 완전 무감독 방법을 포함한 다양한 학습 정책을 평가하였다.
• 다국어 및 단일 언어 데이터를 사용하여 신경 기계 번역 모델을 훈련시켜 다양한 학습 환경에서의 성능을 평가하였다.
• 도메인 내(Open Subtitles) 및 도메인 외(위키백과) 학습 데이터를 비교하는 분석 실험을 통해 도메인 이동의 영향을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 최신의 신경 기계 번역 모델은 새로 도입된 네팔리–영어 및 영어–僧伽라라어 벤치마크에서 어떻게 성능을 내는가?
• RQ2 학습 데이터(예: Open Subtitles)와 테스트 데이터(위키백과) 간의 도메인 불일치가 저자원 언어 쌍의 번역 품질에 어느 정도 영향을 미치는가?
• RQ3 완전 감독, 약한 감독, 준감독, 무감독과 같은 다양한 학습 정책은 이 저자원 언어 쌍에서 어떻게 성능을 내는가?
• RQ4 언어적 거리(형태학적 및 문법적 특성)는 병렬 데이터가 부족할 때 번역의 어려움에 어떤 역할을 하는가?
• RQ5 평가 데이터셋의 품질은 저자원 기계 번역 연구를 위한 유효한 기준으로 충분한가?

주요 결과

• 현재 최신 모델들은 FLoRes 벤치마크에서 매우 낮은 BLEU 점수를 기록한다. 감독 학습에서는 영어–僧伽라라어에서 7.159, 준감독 학습에서는 15.105의 BLEU 점수를 기록한다.
• 준감독 및 다국어 학습 방법이 다른 설정보다 우수한 성능을 보이며, 저자원 번역에서 단일 언어 데이터를 활용하는 것이 핵심임을 시사한다.
• 도메인 불일치는 성능을 크게 떨어뜨린다: 도메인 내 Open Subtitles 데이터는 도메인 외 위키백과 테스트 세트보다 BLEU 점수를 20~210% 높게 기록한다. 이는 일반화 문제에 있어 주요 과제임을 시사한다.
• 번역의 어려움은 기준 번역의 유창성과 상관관계가 없으며, 이는 문제의 근본 원인이 번역 품질이 아닌 언어적 복잡성임을 시사한다.
• 네팔리 위키백과 문장은 영어 위키백과 문장보다 더 나쁘게 번역된다. 이는 기존 병렬 코퍼스가 네팔리의 언어적 구조와 더 적합하지 않음을 시사한다.
• 데이터셋 구축 오류에 대한 증거는 발견되지 않았다. 낮은 점수는 주로 언어적 거리와 도메인 불일치로 인한 것이며, 데이터 품질 문제로 인한 것은 아니다.