[논문 리뷰] Ensemble Distillation for Neural Machine Translation

Markus Freitag, Yaser Al-Onaizan외 1명|arXiv (Cornell University)|2017. 02. 06.

Natural Language Processing Techniques참고 문헌 8인용 수 64

한 줄 요약

본 논문은 다중 교사(앙상블 및 Oracle Bleu 교사)의 지식을 NMT에 대한 지식 증류로 단일 학생 모델에 전달하는 방법을 제시하고, 데이터 필터링과 동일 아키텍처 교사를 사용한 학습을 포함해 더 빠른 디코딩 속도와 비교적 같거나 더 나은 번역 품질을 달성한다. 또한 성능 손실 없이 데이터 가지치기와 모델 규모 감소를 보여준다.

ABSTRACT

Knowledge distillation describes a method for training a student network to perform better by learning from a stronger teacher network. Translating a sentence with an Neural Machine Translation (NMT) engine is time expensive and having a smaller model speeds up this process. We demonstrate how to transfer the translation quality of an ensemble and an oracle BLEU teacher network into a single NMT system. Further, we present translation improvements from a teacher network that has the same architecture and dimensions of the student network. As the training of the student model is still expensive, we introduce a data filtering method based on the knowledge of the teacher model that not only speeds up the training, but also leads to better translation quality. Our techniques need no code change and can be easily reproduced with any NMT architecture to speed up the decoding process.

연구 동기 및 목표

• 더 빠른 디코딩을 가능하게 하면서 NMT 품질을 향상시키기 위한 지식 증류의 활용을 동기화한다.
• 앙상블/Oracle Bleu 교사 지식을 단일 학생 모델로 전이하는 방법 시연, 교사와 학생이 동일 아키텍처와 크기를 공유하는 사례를 포함한다.
• 교사 예측에 기반한 데이터 필터링 기법으로 학습 속도 및 품질을 개선한다.
• 독일어-영어 번역에 대해 교사 유형, 데이터 필터링 및 모델 크기 축소가 번역 품질에 미치는 영향을 평가한다.

제안 방법

• 교사를 이용해 전체 학습 데이터를 번역하고 학생용 의사 타깃을 생성한다.
• 원래 정답과의 병합 여부를 선택적으로 포함해 (소스, 교사-번역) 쌍으로 학생을 훈련한다.
• 다양한 교사 유형을 실험: 동일 아키텍처의 단일 교사, 6개 모델의 앙상블, Oracle Bleu 기반 교사.
• Ter 기반 데이터 가지치기로 노이즈가 있는 문장 쌍을 제거한다.
• 임베딩 및 은닉층 차원을 축소하여 학생 모델의 크기를 줄이되 성능을 유지하거나 향상시킨다.

실험 결과

연구 질문

• RQ1 앙상블 교사 지식 증류가 데이터 가지치기와 함께 단일 교사 지식 증류를 능가하는가?
• RQ2 동일 아키텍처의 학생이 여전히 증류의 혜택을 받는가, 그리고 그 정도는 얼마나 되는가?
• RQ3 번역 품질(Ter)을 기반으로 한 데이터 필터링이 학습 효율과 번역 품질을 개선하는가?
• RQ4 Oracle Bleu 기반 지식 증류가 앙상블 기반 지식 증류에 비해 NMT 성능에서 어떤 차이를 보이는가?
• RQ5 앙상블 교사에 의해 안내될 때 학생 모델 크기 축소가 번역 품질에 미치는 영향은 무엇인가?

주요 결과

• 앙상블 교사 지식 증류가 데이터 가지치기(Ter ≤ 0.8) 기준선 대비 Bleu를 약 2.0포인트, Ter를 약 2.2포인트 향상시킨다.
• 동일 아키텍처의 단일 교사로의 증류가 전달 번역과 원래 참조를 함께 사용할 때 ~1.4 Bleu 및 ~1.0–1.2 Ter 이득을 제공한다.
• Oracle Bleu 교사 지식 증류는 이득을 제공하지만 앙상블-교사 결과보다 다소 낮다.
• 노이즈가 있는 학습 데이터 가지치기(Ter > 0.8)는 학습 데이터를 약 12% 정도 줄이고 학습 속도를 높이면서 품질은 유지되거나 향상된다.
• 임베딩/은닉 크기를 축소한 학생 모델(예: 150/300)은 증류하에 기본선에 비해 좋거나 더 나은 Bleu/Ter를 달성할 수 있다.
• 앙상블 교사로부터의 지식 증류는 더 작고 빠른 디코딩과 더 작은 메모리 footprint를 제공하며 번역 품질이 유사하거나 더 나은 경우가 많다.