[논문 리뷰] Why Skip If You Can Combine: A Simple Knowledge Distillation Technique for Intermediate Layers

Yimeng Wu, Peyman Passban외 2명|arXiv (Cornell University)|2020. 10. 06.

Natural Language Processing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 기존 방법에서 발생하는 '스킵 문제'를 해결하기 위해 깊이 있는 테이처 네트워크의 중간 레이어 특징을 건너뛰지 않고 압축된 학생 네트워크에 통합하는 새로운 지식 정련 기법, 조합적 지식 정련(CKD)을 제안한다. CKD는 12층 테이처 모델보다 50% 적은 파라미터를 사용하면서도 저자원 NMT 작업에서 동일한 번역 품질을 달성하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the growth of computing power neural machine translation (NMT) models also grow accordingly and become better. However, they also become harder to deploy on edge devices due to memory constraints. To cope with this problem, a common practice is to distill knowledge from a large and accurately-trained teacher network (T) into a compact student network (S). Although knowledge distillation (KD) is useful in most cases, our study shows that existing KD techniques might not be suitable enough for deep NMT engines, so we propose a novel alternative. In our model, besides matching T and S predictions we have a combinatorial mechanism to inject layer-level supervision from T to S. In this paper, we target low-resource settings and evaluate our translation engines for Portuguese--English, Turkish--English, and English--German directions. Students trained using our technique have 50% fewer parameters and can still deliver comparable results to those of 12-layer teachers.

연구 동기 및 목표

• 깊이 있는 테이처 모델의 중간 레이어가 아키텍처 불일치로 인해 얕은 학생 모델과 매칭되지 않는 지식 정련의 '스킵 문제'를 해결하기 위해.
• 최종 예측뿐만 아니라 중간 레이어 표현까지 활용하여 신경망 기반 기계 번역(NMT)에서 지식 정련을 향상시키기 위해.
• 선택적 프루닝이나 건너뛰기 없이 모든 테이처 레이어를 완전히 활용할 수 있는 방법을 개발하여 학생 모델 성능을 향상시키기 위해.
• 새로운 조합 기반 메커니즘을 통해 중간 레이어 특징을 연결함으로써 정련의 효과를 극대화하는 방법을 제안하기 위해.
• 저자원 NMT 설정에서 제안된 방법의 유효성을 검증하여, 압축된 학생 모델이 큰 테이처 모델의 성능을 따라잡을 수 있음을 보여주기 위해.

제안 방법

• 깊이 있는 테이처 네트워크의 다수의 인코더 레이어에서 유도된 중간 레이어 특징을 하나의 표현으로 연결하는 조합 기반 메커니즘을 제안한다.
• 기존의 교차 엔트로피 손실(하드 손실), 표준 지식 정련 손실(소프트 손실), 그리고 새로운 중간 레이어 정련 손실을 조합한 새로운 손실 함수를 도입한다.
• 중간 레이어 손실은 다수의 테이처 인코더 레이어 출력을 연결한 결과와 해당하는 학생 인코더 레이어 출력을 매칭한다.
• 가중치 조합을 사용한 손실: 총 손실 = β×하드_손실 + η×소프트_손실 + λ×중간_손실, 여기서 λ=0.7 및 η=0.1이며, 초모수 탐색을 통해 최적화된다.
• 정련은 인코더 측면에만 적용하며, 디코더 레이어는 테이처와 연결하지 않아 성능 저하를 방지한다.
• 다중 헤드 어텐션 기반 아키텍처와 잔차 연결을 사용하며, 12층 테이처 모델에 대비해 4층 인코더를 가진 학생 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 깊은 테이처 모델의 다수 중간 레이어 특징을 조합하는 지식 정련 방법이, 레이어를 건너뛰는 기존 방법보다 우월한가?
• RQ2 레이어별 매칭 또는 예측 전용 정련과 비교해 복합 표현의 융합이 학생 모델 성능을 향상시키는가?
• RQ3 12층 테이처 모델보다 50% 적은 파라미터를 가진 압축된 학생 모델이 저자원 NMT 환경에서 동일한 번역 품질을 달성할 수 있는가?
• RQ4 기존 기법들(예: PKD)과 비교해 대규모 NMT 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ5 중간 레이어 특징을 융합함으로써 얻는 성능 향상은 통계적으로 유의미하고 다양한 언어 방향에 걸쳐 안정적인가?

주요 결과

• 포르투갈어-영어 번역 작업에서 CKD는 BLEU 점수 43.78을 기록하여 PKD(43.28)와 원래 RKD 기준치를 초월한다.
• 영어-독일어 번역에서 CKD는 24.14 BLEU를 기록하여 PKD(23.38)와 No-KD(24.31)를 모두 앞서며, 다양한 작업에서 일관된 성능 향상을 입증한다.
• 영어-프랑스어 번역에서 CKD는 36.10 BLEU를 달성하여 No-KD(35.45)와 PKD(34.97)를 모두 뛰어넘어 대규모 데이터셋에서도 효과적임을 확인한다.
• 50% 적은 파라미터를 가진 학생 모델이 12층 테이처 모델의 성능을 따라잡을 수 있음을 입증하여 모델 효율성을 확인한다.
• 실험 결과, PKD에서 자기 어텐션 구성 요소를 매칭하는 것은 성능 향상에 약간의 기여를 하지만, CKD는 여전히 이러한 개선된 변형보다도 뛰어나다.
• 중간 레이어 손실에 대해 높은 가중치(λ=0.7)를 할당한 것은 이 손실이 고성능의 압축 모델 훈련에 핵심적인 역할을 한다는 것을 시사한다.