[논문 리뷰] A Universal Parent Model for Low-Resource Neural Machine Translation Transfer

Mozhdeh Gheini, Jonathan May|arXiv (Cornell University)|2019. 09. 14.

Topic Modeling참고 문헌 31인용 수 15

한 줄 요약

이 논문은 고정된 다국어 서브워드 보편 어휘를 갖춘 유니버설 부모 신경 기계 번역 모델을 제안하며, 재학습이나 어휘 업데이트 없이도 어떤 저자원 언어 쌍에 대해서도 빠른 피지테이닝을 가능하게 한다. 철자 통합과 광범위한 커버리지의 서브워드 토크나이제이션 방법을 활용하여, 다양한 언어 계열에서 최신 기술 성능을 달성하며 이전의 전이 학습 접근 방식보다 더 빠른 구현과 높은 품질을 제공한다.

ABSTRACT

Transfer learning from a high-resource language pair `parent' has been proven to be an effective way to improve neural machine translation quality for low-resource language pairs `children.' However, previous approaches build a custom parent model or at least update an existing parent model's vocabulary for each child language pair they wish to train, in an effort to align parent and child vocabularies. This is not a practical solution. It is wasteful to devote the majority of training time for new language pairs to optimizing parameters on an unrelated data set. Further, this overhead reduces the utility of neural machine translation for deployment in humanitarian assistance scenarios, where extra time to deploy a new language pair can mean the difference between life and death. In this work, we present a `universal' pre-trained neural parent model with constant vocabulary that can be used as a starting point for training practically any new low-resource language to a fixed target language. We demonstrate that our approach, which leverages orthography unification and a broad-coverage approach to subword identification, generalizes well to several languages from a variety of families, and that translation systems built with our approach can be built more quickly than competing methods and with better quality as well.

연구 동기 및 목표

• 비상 인도적 상황에서 새로운 저자원 언어 쌍에 대해 각각 맞춤형 부모 모델을 훈련하는 것이 비현실적임을 해결하기 위해.
• 새로운 자식 언어로 전이할 때 어휘 재학습과 모델 재초기화의 비효율성을 극복하기 위해.
• 모든 새로운 언어 쌍에 대해 최소한의 설정으로 전이가 가능한 단일의 사전 훈련된 신경 부모 모델을 개발하기 위해.
• 고정된 다국어 서브워드 어휘를 통해 보편적인 번역 불변성을 통합하여 저자원 NMT 성능을 향상시키기 위해.
• 사전 처리 및 재학습 오버헤드를 제거함으로써 시간 민감한 응용 분야에서 신경 번역 시스템의 빠른 구현을 가능하게 하기 위해.

제안 방법

• 다양한 언어 계열과 글자 체계를 포함하는 다국어 병렬 코퍼스에서 훈련된 유니버설 부모 모델을 설계하기 위해.
• 입력 철자 표준화를 위해 보편적 로마자화를 적용하여 훈련 중 언어 다양성 문제를 줄이기 위해.
• 모든 원본 언어에서 함께 훈련된 단일 고정 서브워드 어휘를 사용하여 각 언어별 어휘 업데이트를 방지하기 위해.
• 다국어 코퍼스에 광범위한 커버리지의 서브워드 토크나이제이션 방법(예: BPE)을 적용하여 다양한 언어 간의 커버리지 보장하기 위해.
• 부모 모델의 어휘나 아키텍처를 수정하지 않고도 새로운 저자원 언어 쌍에 대해 오직 대상 언어의 병렬 데이터만을 사용하여 유니버설 부모 모델을 피지테이닝하기 위해.
• 보편적 모델이 대규모 다국어 데이터(예: WMT, TED, Europarl)에서 사전 훈련되어 보편적인 번역 패턴을 포착하도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 왜 고자원 부모 모델에서의 전이 학습이 저자원 신경 기계 번역 성능을 향상시키는가?
• RQ2 다양한 언어 계열과 글자 체계에서 단일 고정 크기의 서브워드 어휘가 효과적으로 작용할 수 있는가?
• RQ3 속도와 번역 품질 측면에서 보편적 부모 모델은 언어별 또는 동적 업데이트가 가능한 부모 모델보다 어떻게 비교되는가?
• RQ4 언어별 사전 처리나 어휘 적응이 필요 없이 보편적 모델이 저자원 언어에 얼마나 잘 일반화되는가?
• RQ5 보편적 부모 모델이 후자의 경우보다 더 큰 단일 언어 코퍼스에서 훈련된 단일 언어 부모 모델을 초월할 수 있는가?

주요 결과

• 유니버설 부모 모델은 루마니아어, 힌두어, 리투아니아어, 핀란드어, 에스토니아어 등 테스트한 다섯 개의 저자원 언어 쌍에서 모두 최고의 BLEU 점수를 기록하며, 단일 언어 프랑스어 부모 모델과 다른 다국어 기준선보다 뛰어난 성능을 보였다.
• 200만 문장의 부모 모델을 사용할 경우, 모든 자식 언어에서 더 큰(1100만 문장) 단일 언어 프랑스어 부모 모델보다 번역 품질이 뛰어나며, 루마니아어를 제외한 모든 언어에서 승리했다.
• 큰 유니버설 부모 모델(1100만 문장)은 루마니아어-영어 번역에서 BLEU 점수 28.01을 기록했으며, 큰 프랑스어 부모 모델의 27.52보다 뛰어나 보편성의 우수성을 입증했다.
• 힌두어-영어 번역에서 9.10의 BLEU 점수를 기록하여 프랑스어 부모의 7.10보다 뚜렷이 높은 성능을 보였으며, 저자원이고 인도·일대어계열이 아닌 언어에서도 강력한 성능을 보였다.
• 모든 새로운 언어 쌍에 대해 어휘 재학습이나 맞춤형 부모 모델 생성이 필요 없어져 구현 시간을 수일 또는 수주에서 수시간으로 단축시켰다.
• 인도·일대어계열, 페르시아어계열, 페르시아어계열 등 다양한 언어 계열 간에 잘 일반화되어 있어, 보편적 서브워드와 로마자화 접근 방식의 강건성을 확인했다.