[논문 리뷰] Sequence-Level Knowledge Distillation

Yoon Kim, Alexander M. Rush|arXiv (Cornell University)|2016. 06. 25.

Natural Language Processing Techniques참고 문헌 47인용 수 117

한 줄 요약

본 논문은 지식 증류를 신경 기계 번역에 적용하고, 단어 수준 증류를 능가하는 시퀀스 수준 변형을 도입하며 탐욕 디코딩, 더 빠른 추론, 가지치기를 통한 대규모 압축을 가능하게 한다.

ABSTRACT

Neural machine translation (NMT) offers a novel alternative formulation of translation that is potentially simpler than statistical approaches. However to reach competitive performance, NMT models need to be exceedingly large. In this paper we consider applying knowledge distillation approaches (Bucila et al., 2006; Hinton et al., 2015) that have proven successful for reducing the size of neural models in other domains to the problem of NMT. We demonstrate that standard knowledge distillation applied to word-level prediction can be effective for NMT, and also introduce two novel sequence-level versions of knowledge distillation that further improve performance, and somewhat surprisingly, seem to eliminate the need for beam search (even when applied on the original teacher model). Our best student model runs 10 times faster than its state-of-the-art teacher with little loss in performance. It is also significantly better than a baseline model trained without knowledge distillation: by 4.2/1.7 BLEU with greedy decoding/beam search. Applying weight pruning on top of knowledge distillation results in a student model that has 13 times fewer parameters than the original teacher model, with a decrease of 0.4 BLEU.

연구 동기 및 목표

• 성능을 저하시키지 않으면서 NMT 모델 크기를 줄인다.
• NMT를 위한 단어 수준 및 시퀀스 수준 지식 증류를 조사한다.
• 교사 배포를 활용하기 위한 시퀀스 수준 보간을 탐구한다.
• 증류 및 가지치기된 모델을 사용할 때의 디코딩 속도와 압축을 평가한다.

제안 방법

• 교사/학생의 단어 분포를 맞춤으로써 NMT에 표준 단어 수준 지식 증류를 적용한다.
• 교사의 빔 검색 출력(교사 분포의 모드 q(t|s))으로 학생을 학습시켜 시퀀스 수준 지식 증류(Seq-KD)를 제안한다.
• 교사 생성 데이터와 원본 데이터를 혼합하기 위한 시퀀스 수준 보간(Seq-Inter)을 도입한다.
• 교사 분포를 근사하기 위해 빔 탐색(K=5)을 사용하고 영어–독일어 및 태국어–영어 작업으로 평가한다.
• 효율성을 위한 미세 조정 및 데이터 생성을 수행한다(예: English–German에서 50% 데이터에 Seq-Inter 적용).
• 지식 증류 후 매개변수를 추가로 줄이기 위한 가중치 가지치기를 탐색한다.

실험 결과

연구 질문

• RQ1 시퀀스 수준 지식 증류가 NMT에서 표준 단어 수준 지식 증류를 능가할 수 있는가?
• RQ2 Seq-KD가 탐욕적 디코딩으로 빔 탐색의 품질에 근접하거나 일치하게 할 수 있는가?

주요 결과

• Seq-KD는 기초선 대비 상당한 BLEU 상승을 제공하며, English→German에서 Word-KD를 능가하고 Thai→English에서 유사하게 수행한다.
• Seq-KD와 Word-KD를 결합하면 직교적 이점을 제공하며, 특히 더 작은 학생 모델(예: 2×300/2×100)에 유리하다.
• Seq-Inter는 탐욕적 디코딩으로 교사용 빔 성능에 맞추거나 이를 초과할 수 있어 더 빠른 추론을 가능하게 한다.
• Seq-KD 모델에서의 탐욕적 디코딩은 비슷한 BLEU를 가진 더 큰 교사에 대한 빔 탐색보다 대략 10× 빠를 수 있다.
• 가중치 가지치기는 BLEU 손실이 작게 유지되면서 최대 13× 적은 매개변수를 얻을 수 있다(예: 80% 가지치기 시 BLEU 하락 0.4).
• Seq-KD는 교사의 모드 주변에 피크 분포를 생성하는 경향이 있어 효과적인 탐욕적 디코딩에 도움을 주고 빔 검색의 필요성을 줄인다.