[논문 리뷰] Meta-Learning for Low-Resource Neural Machine Translation

Jiatao Gu, Yong Wang외 3명|arXiv (Cornell University)|2018. 08. 25.

Natural Language Processing Techniques참고 문헌 36인용 수 30

한 줄 요약

이 논문은 메타학습 프레임워크인 MetaNMT를 제안하며, 고자원 언어 쌍을 소스 작업으로 삼아 저자원 언어로의 신속한 적응을 가능하게 한다. 교차 언어 입력-출력 불일치 문제를 해결하기 위해 유니버설 어휘 표현을 통합함으로써 MetaNMT는 단지 16,000개의 병렬 문장(약 600개 문장 쌍)으로도 최신 기술 수준의 성능을 달성하며, 루마니아어-영어 번역에서 22.04 BLEU를 기록하여 다국어 전이 학습보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose to extend the recently introduced model-agnostic meta-learning algorithm (MAML) for low-resource neural machine translation (NMT). We frame low-resource translation as a meta-learning problem, and we learn to adapt to low-resource languages based on multilingual high-resource language tasks. We use the universal lexical representation~\citep{gu2018universal} to overcome the input-output mismatch across different languages. We evaluate the proposed meta-learning strategy using eighteen European languages (Bg, Cs, Da, De, El, Es, Et, Fr, Hu, It, Lt, Nl, Pl, Pt, Sk, Sl, Sv and Ru) as source tasks and five diverse languages (Ro, Lv, Fi, Tr and Ko) as target tasks. We show that the proposed approach significantly outperforms the multilingual, transfer learning based approach~\citep{zoph2016transfer} and enables us to train a competitive NMT system with only a fraction of training examples. For instance, the proposed approach can achieve as high as 22.04 BLEU on Romanian-English WMT'16 by seeing only 16,000 translated words (~600 parallel sentences).

연구 동기 및 목표

• 제한된 병렬 훈련 데이터로 인한 저자원 신경 기계 번역 성능 열악함 문제를 해결하기 위해.
• 메타학습을 활용해 NMT 모델이 새로운 저자원 언어 쌍으로 빠르게 적응할 수 있도록 하기 위해.
• 다국어 메타학습 환경에서 언어 간 입력-출력 어휘 불일치 문제를 극복하기 위해.
• 메타학습된 모델 초기화를 통해 저자원 환경에서 일반화 및 강인성을 향상시키기 위해.
• 메타학습이 저자원 번역에서 표준 다국어 및 전이 학습 접근 방식을 능가할 수 있음을 입증하기 위해.

제안 방법

• 각 언어 쌍을 별개의 작업으로 간주하여 저자원 번역 문제를 메타학습 문제로 재정의하기.
• 모델에 종속되지 않은 메타학습(MAML) 알고리즘을 변형하여 새로운 저자원 언어에서의 신속한 피지컬 튜닝이 가능한 모델 파라미터 초기화를 학습하기.
• 비중복 어휘를 가진 언어 간 입력 및 출력 임베딩을 정렬하기 위해 유니버설 어휘 표현(ULR)을 통합하기.
• 18개의 고자원 유럽어 및 러시아어 언어 쌍(소스 작업)에서 메타학습을 수행한 후, 저자원 타깃(로마니아어, 라트비아어, 핀란드어, 터키어, 한국어)에서 피지컬 튜닝을 수행하기.
• 메타학습 및 적응 과정에서의 교차 언어 호환성을 보장하기 위해 공유 인코더-디코더 아키텍처와 ULR를 사용하기.
• 목표 작업에서 제한된 병렬 데이터(최대 160,000 토큰)로 피지컬 튜닝을 적용하여 빠른 적응 능력을 평가하기.

실험 결과

연구 질문

• RQ1 언어 쌍을 별개의 작업으로 간주함으로써 메타학습을 저자원 신경 기계 번역에 효과적으로 적용할 수 있는가?
• RQ2 유니버설 어휘 표현을 통한 메타학습은 저자원 환경에서 표준 다국어 및 전이 학습 기준선과 비교해 어떻게 성능을 내는가?
• RQ3 소스 작업의 수가 저자원 타깃 언어에서의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 학습 데이터가 극도로 제한되었을 경우, 메타학습된 초기화의 강인성은 어느 정도인가?
• RQ5 메타학습된 모델은 토너먼트적으로 다를 수 있는 언어 쌍, 예를 들어 터키어와 한국어와 같은 언어 쌍으로도 일반화 가능한가?

주요 결과

• MetaNMT는 모든 다섯 개의 저자원 타깃 언어 쌍(Ro, Lv, Fi, Tr, Ko)에서 제로샷 및 피어샷 설정 모두에서 다국어 전이 학습 기준선을 뛰어넘었다.
• 루마니아어-영어 번역에서 MetaNMT는 단지 16,000개의 병렬 영어 토큰(약 600개 문장 쌍)으로도 22.04 BLEU를 기록하여 강력한 피어샷 일반화 능력을 입증했다.
• 훈련 데이터 크기가 작아질수록 MetaNMT와 다국어 전이 학습 기준선 간의 성능 격차가 커지며, 데이터 부족에 대한 뛰어난 강인성을 확인했다.
• 훈련 곡선을 분석한 결과, MetaNMT는 피지컬 튜닝 기간 동안 계속 성능 향상을 보였지만, 다국어 기준선은 소스 작업에서 과적합으로 인해 포화 상태에 도달하고 성능이 저하되었다.
• 유니버설 어휘 표현의 사용으로 인해 피지컬 튜닝 없이도 단어 수준 번역이 가능했으며, 타깃 데이터에서 최소한의 피지컬 튜닝 이후 빠른 문법 재정렬도 가능했다.
• 더 많은 소스 작업을 추가할수록 성능이 일관되게 향상되었으며, 소스 언어 수를 1개에서 18개로 늘였을 때 타깃 언어 쌍에 따라 최대 2배의 BLEU 향상이 이루어졌다.