[논문 리뷰] Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation

Toan Nguyen, David Chiang|arXiv (Cornell University)|2017. 08. 31.

Natural Language Processing Techniques참고 문헌 8인용 수 112

한 줄 요약

이 논문은 Zoph 등의 전이 학습을 소스 어휘를 Byte Pair Encoding (BPE) 및 음역(transliteration)을 통해 공유함으로써 관련 저자원 터르크어족 언어를 활용하고, 특히 BPE를 사용할 때 NMT 성능을 향상시킨다.

ABSTRACT

We present a simple method to improve neural translation of a low-resource language pair using parallel data from a related, also low-resource, language pair. The method is based on the transfer method of Zoph et al., but whereas their method ignores any source vocabulary overlap, ours exploits it. First, we split words using Byte Pair Encoding (BPE) to increase vocabulary overlap. Then, we train a model on the first language pair and transfer its parameters, including its source word embeddings, to another model and continue training on the second language pair. Our experiments show that transfer learning helps word-based translation only slightly, but when used on top of a much stronger BPE baseline, it yields larger improvements of up to 4.3 BLEU.

연구 동기 및 목표

• 관련 언어를 사용하여 매우 저자원 언어 쌍의 NMT 개선을 모티브로 한다.
• 관련 저자원 부모 언어에서의 전이가 저자원 자식 언어에 도움이 되는지 탐구한다.
• 전이 학습의 효과에 어휘 겹침과 서브워드 분할이 미치는 영향을 조사한다.
• 전이 학습과 BPE의 결합이 각 접근 방식만 사용하는 경우보다 더 큰 이득을 주는지 평가한다.

제안 방법

• Luong 스타일의 어텐션을 갖춘 이층 주의 신경망 NMT 모델을 사용한다.
• Zoph 등의 전이 학습 순서를 따른다: 자식 모델을 학습된 부모 모델에서 초기화하고 자식 데이터로 미세조정하며, 소스 임베딩은 이전하고 타깃 임베딩은 고정한다.
• 통일된 문자체로의 음역(위구르는 라틴 문자로 표기) 및 부모-자식 어휘의 합집합에 BPE를 적용하여 교차언어 어휘 겹침을 증가시킨다.
• 두 언어의 소스와 타깃 데이터의 합집합에서 BPE 병합 규칙을 학습하여 두 모델 모두에 대해 하나의 공유 어휘를 생성한다.
• 단어 기반 베이스라인과 BPE 기반 시스템을 학습하고, 어휘 크기와 BPE 동작 수(5k–60k)를 다르게 탐색한다.
• 개발(dev)/시험(test)에서 토큰화된 BLEU로 평가하고 디코딩 시 길이 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 관련이 있는 저자원 부모 언어로부터의 전이가 저자원 자식 언어의 번역 품질을 개선하는가?
• RQ2 부모와 자식 간에 BPE 기반 서브워드 어휘를 공유하는 것이 naive 전이 또는 비전이 대비 전이 효과를 향상시키는가?
• RQ3 공통 문자체로의 음역이 어휘 겹침과 전이 이익에 어떤 영향을 미치는가?
• RQ4 강한 BPE 베이스라인과 결합될 때 전이 학습의 이점이 가산적인가?

주요 결과

• 단어 기반 전이는 저자원 환경에서 제한적이고 일관되지 않는 이득을 제공한다.
• BPE 기반 시스템이 단어 기반 시스템보다 우수하며 강한 BPE 베이스라인 위에 전이를 적용하면 더 큰 향상을 얻는다.
• Uzbek를 부모 언어로 삼아 Turkish 및 Uyghur를 대상으로 할 때 BPE 베이스라인 대비 최대 0.8 BLEU(Turkish-English) 및 4.3 BLEU(Uyghur-English) 향상을 얻는다.
• 공유 어휘(BPE를 통한 공유 어휘)로의 전이는 기본선 및 비공유 전이 설정 대비 일관된 향상을 낳는다.
• BPE와 전이의 조합은 어느 한 방법만 사용하는 것보다 더 효과적이며, 이는 서브워드 단위로 어휘 겹침이 증가하기 때문일 가능성이 크다.