[논문 리뷰] Transfer learning and subword sampling for asymmetric-resource one-to-many neural translation

Stig-Arne Grönroos, Sámi Virpioja외 1명|arXiv (Cornell University)|2020. 04. 08.

Natural Language Processing Techniques참고 문헌 100인용 수 6

한 줄 요약

이 논문은 비대칭 자원 설정에서 자원이 적은 다대일 신경 기계 번역을 향상시키기 위해 서브워드 샘플링과 노이즈 제거 오토인코더를 통합한 스케줄링된 다중 작업 학습 프레임워크를 제안한다. 교차 언어 전이를 통해 고자원 대상 언어를 활용하고, 백트랜슬레이션과 오토인코더를 통해 단일 언어 데이터를 활용하며, Morfessor EM+Prune를 통한 서브워드 분할 최적화를 통해, 이 방법은 최대 +12.7 BLEU 향상을 달성한다. 특히 스케줄링된 학습과 서브워드 정규화가 에스토니아어, 슬로바키아어/체코어, 덴마크어/스웨덴어, 노르웨이어/노르드 샤미어 작업 전반에서 가장 일관된 개선을 이끌어냈다.

ABSTRACT

There are several approaches for improving neural machine translation for low-resource languages: Monolingual data can be exploited via pretraining or data augmentation; Parallel corpora on related language pairs can be used via parameter sharing or transfer learning in multilingual models; Subword segmentation and regularization techniques can be applied to ensure high coverage of the vocabulary. We review these approaches in the context of an asymmetric-resource one-to-many translation task, in which the pair of target languages are related, with one being a very low-resource and the other a higher-resource language. We test various methods on three artificially restricted translation tasks -- English to Estonian (low-resource) and Finnish (high-resource), English to Slovak and Czech, English to Danish and Swedish -- and one real-world task, Norwegian to North S\'ami and Finnish. The experiments show positive effects especially for scheduled multi-task learning, denoising autoencoder, and subword sampling.

연구 동기 및 목표

• 한 개의 목표 언어가 다른 언어보다 훨씬 적은 병렬 데이터를 갖는 비대칭 자원 설정에서 자원이 적은 신경 기계 번역의 과제를 해결한다.
• 유사한 고자원 언어를 보조 목표로 삼아, 형태학적으로 풍부한 자원이 적은 언어의 번역 품질을 향상시키기 위한 효과적인 전이 학습 전략을 조사한다.
• 자원이 적은 상황에서의 데이터 희소성과 일반화 능력을 향상시키기 위해 서브워드 분할과 어휘 구성 최적화를 한다.
• 백트랜슬레이션과 노이즈 제거 오토인코더를 통한 단일 언어 데이터 증강이 자원이 적은 번역 성능에 미치는 영향을 평가한다.
• 자원이 적은 다국어 NMT에서 다양한 학습 스케줄, 노이즈 모델, 어휘 구성 기법의 상대적 효과성을 규명한다.

제안 방법

• 스케줄링된 다중 작업 학습을 제안한다: 과도한 피팅을 방지하기 위해 고자원 언어 작업에서 사전 학습한 후, 고자원 및 저자원 작업을 함께 미세 조정한다.
• 서브워드 분할의 모호성을 모델링하기 위해 특정 서브워드 단위를 제외하는 '금지 샘플링' 작업을 도입한다.
• 다양한 노이즈 유형—서브워드 정규화, 재정렬, 삭제, 치환—을 갖춘 노이즈 제거 오토인코더를 사용하여 강건성을 향상시킨다.
• BPE나 SentencePiece보다 사전 기반 분할을 선호하는 데이터 기반 서브워드 어휘 학습을 위해 Morfessor EM+Prune를 사용한다.
• 목표 언어에서 원본 언어로의 모델을 사용하여 단일 언어 코퍼스에서 합성 병렬 데이터를 생성함으로써 백트랜슬레이션을 적용한다.
• 학습 중에 노이즈가 포함된 미니배치를 샘플링하고 작업 혼합을 스케줄링할 수 있는 다중 작업 데이터로더를 구현한다.

실험 결과

연구 질문

• RQ1 비대칭 자원 다대일 번역에서 스케줄링된 다중 작업 학습이 순차적 또는 완전 병렬 전이보다 우월한가?
• RQ2 저자원 대상 언어용 노이즈 제거 오토인코더는 번역 품질 향상에 기여하는가, 특히 백트랜슬레이션과 조합했을 때 효과가 있는가?
• RQ3 서브워드 정규화는 얼마나 효과적인가, 그리고 어떤 노이즈 모델(예: 삭제, 재정렬)이 자원이 적은 NMT에 가장 유익한가?
• RQ4 서브워드 분할 방법(예: Morfessor 대비 SentencePiece)과 어휘 크기 선택이 번역 품질에 상당한 영향을 미치는가?
• RQ5 언어 간 유사성과 데이터 양(특히 저자원 언어 기준)이 교차 언어 전이의 효과성에 어떻게 영향을 미치는가?

주요 결과

• 스케줄링된 다중 작업 학습은 +2.4 BLEU의 가장 높은 개선을 기록했으며, 순차적 및 완전 병렬 학습 전략을 모두 능가했다.
• 다국어 학습을 통한 교차 언어 전이가 +12.7 BLEU의 가장 큰 향상을 기록했으며, 고자원 목표 언어를 활용함으로써 강력한 이점을 입증했다.
• 백트랜슬레이션은 최대 +4.46 BLEU의 향상을 제공했으며, 자원이 적은 환경에서 데이터 증강 기법으로서의 가치를 확인했다.
• Morfessor EM+Prune 서브워드 분할 방법은 SentencePiece 대비 +0.6 BLEU로 우수했으며, 사전 기반 분할 접근의 이점을 시사했다.
• 서브워드 정규화와 다중 노이즈 노이즈 제거 오토인코더는 희귀어에 특히 강건성을 향상시켰지만, 언어 쌍에 따라 효과가 다름을 보였다.
• 단지 10,000개의 문장 쌍만으로도 저자원 병렬 데이터가 상당한 성과 향상을 이끌었으며, 이 threshold를 넘어서는 순간 수익 감소 현상이 나타났다.