[논문 리뷰] A Teacher-Student Framework for Zero-Resource Neural Machine Translation

Yun Chen, Yang Liu외 2명|arXiv (Cornell University)|2017. 05. 02.

Natural Language Processing Techniques참고 문헌 29인용 수 104

한 줄 요약

본 논문은 pivot-에서 target으로 가는 교사-학생 프레임워크를 사용하여 평행 데이터 없이 source-to-target NMT 모델을 학습시키고, pivot-to-target 교사를 통해 source-pivot 코퍼스에서 학습을 안내함으로써 pivot 기반 baselines에 비해 제로 리소스 번역 품질을 향상시킨다.

ABSTRACT

While end-to-end neural machine translation (NMT) has made remarkable progress recently, it still suffers from the data scarcity problem for low-resource language pairs and domains. In this paper, we propose a method for zero-resource NMT by assuming that parallel sentences have close probabilities of generating a sentence in a third language. Based on this assumption, our method is able to train a source-to-target NMT model ("student") without parallel corpora available, guided by an existing pivot-to-target NMT model ("teacher") on a source-pivot parallel corpus. Experimental results show that the proposed method significantly improves over a baseline pivot-based model by +3.0 BLEU points across various language pairs.

연구 동기 및 목표

• 저자들은 저자원 언어 쌍에 대한 제한된 병렬 데이터로 인한 제로-리소스 NMT의 필요성을 동기화한다.
• pivot-에서 target으로의 교사를 활용하여 source-에서 target으로의 학생 모델을 안내하는 교사-학생 프레임워크를 제안한다.
• 병렬 문장들이 제3의 언어 문장을 생성할 확률이 비슷하다는 가정을 검증하여 지식 전달이 가능함을 확인한다.
• Europarl 및 WMT 데이터셋에서 pivot 기반 baselines 대비 번역 품질 및 디코딩 효율성을 개선했음을 입증한다.

제안 방법

• 평행 x–y 데이터 없이 직접적인 source–to–target 학습을 가능하게 하기 위해 제3의 언어를 생성하는 확률이 유사하다는 가정으로 병렬 문장들의 확률을 활용한다.
• 고정된 pivot-to-target 교사 모델을 D_{z,y}에 대해 학습시키고 D_{x,z}에서 문장 수준 KL 발산(J_SENT) 또는 단어 수준 KL 발산(J_WORD)을 통해 학생 모델을 안내한다.
• 문장 수준의 교수(Teaching) 목표는 D_{x,z}에서 KL(P(y|z;θ̂_{z→y}) || P(y|x;θ_{x→y}))를 최소화한다.
• 단어 수준의 교수 목표는 어휘의 y 및 위치 j에 대해 KL(P(y|z,y_<j;θ̂_{z→y}) || P(y|x,y_<j;θ_{x→y}))를 합산하여 최소화한다.
• 전체 공간 KL 최적화가 계산적으로 불가능하므로(예: 빔/모드 등으로 타깃 공간을 제한) 근사적으로 그래디언트를 구한다.
• 학습 이후에는 번역에 표준 NMT 디코oding P(y|x;θ_{x→y})를 사용한다.

실험 결과

연구 질문

• RQ1 x–y 병렬 데이터 없이 pivot-to-target NMT 모델이 소스-에서 타깃으로 가는 모델을 교육할 수 있는가?
• RQ2 문장 수준 및 단어 수준 교수 방식이 교사로부터 학생으로 지식을 효과적으로 전달하는가?
• RQ3 제안 방법이 BLEU 및 디코딩 효율성 측면에서 pivot 기반 및 다중언어 제로-리소스 접근법과 비교해 어떤 차이가 있는가?
• RQ4 제안된 교사-학생 프레임워크가 Europarl 및 WMT 데이터셋과 여러 언어쌍에 걸쳐 견고한가?
• RQ5 근사 추론(k-best, mode, sampling)의 트레이닝 및 번역 품질에 미치는 영향은 무엇인가?

주요 결과

• 단어 수준 교수법과 샘플링은 Europarl에서 Es-Fr의 pivot 기반 제로-리소스 baselines보다 최대 +3.29 BLEU, De-Fr에서 +3.24 BLEU의 우수한 성능을 보인다.
• 문장 수준 빔 기반 교수 역시 pivot baselines보다 성능이 향상되지만 학습 시간이 더 길다.
• Europarl 전반에서 sent-beam 및 word-sampling 모두 pivot 기반 방법을 능가하며, 단어 샘플링이 최상의 BLEU를 달성(Es-Fr: 테스트에서 27.03; De-Fr: 테스트에서 25.15 in 특정 설정)한다.
• 대규모 WMT Es-Fr 태스크에서 word-sampling 방법은 pivot 및 다대일 대안들보다 주목할 만한 이점을 얻으며(Newstest2012에서 pivot 대비 +3.46 BLEU 등)
• 제안된 접근법은 제로-리소스 설정에서 소스-타깃 병렬 코퍼스를 사용하는 가능성 기반 방법보다 우수할 수 있다.
• 방법을 지탱하는 가정(문장 수준 및 단어 수준에서 P(y|x)와 P(y|z)의 근접성)은 학습 중 KL 발산을 감소시킴으로써 경험적으로 검증된다.