[논문 리뷰] Stagewise Knowledge Distillation

Akshay Kulkarni, Navid Panchi외 1명|arXiv (Cornell University)|2019. 11. 15.

Advanced Neural Network Applications참고 문헌 22인용 수 3

한 줄 요약

이 논문은 단계별 지식 증류(Stagewise Knowledge Distillation, SKD)를 제안하며, 이는 학생 모델을 점진적으로 단계별로 훈련시켜 교사 지식을 점진적으로 활용하는 데이터 효율적인 지식 증류 방법이다. SKD는 훈련 데이터의 일부만 사용해도 뚜렷한 성능 향상을 이룩하며, 기존의 KD 방법들을 능가하면서도 절삭 및 양자화와 같은 다른 압축 기법과도 호환된다.

ABSTRACT

Despite the success of Deep Learning (DL), the deployment of modern DL models requiring large computational power poses a significant problem for resource-constrained systems. This necessitates building compact networks that reduce computations while preserving performance. Traditional Knowledge Distillation (KD) methods that transfer knowledge from teacher to student (a) use a single-stage and (b) require the whole data set while distilling the knowledge to the student. In this work, we propose a new method called Stagewise Knowledge Distillation (SKD) which builds on traditional KD methods by progressive stagewise training to leverage the knowledge gained from the teacher, resulting in data-efficient distillation process. We evaluate our method on classification and semantic segmentation tasks. We show, across the tested tasks, significant performance gains even with a fraction of the data used in distillation, without compromising on the metric. We also compare our method with existing KD techniques and show that SKD outperforms them. Moreover, our method can be viewed as a generalized model compression technique that complements other model compression methods such as quantization or pruning.

연구 동기 및 목표

• 전통적인 지식 증류의 비효율성, 즉 전체 데이터셋과 단일 단계 훈련을 요구하는 문제를 해결한다.
• 증류에 필요한 데이터 요구량을 줄이되, 학생 모델의 성능을 유지하거나 향상시킨다.
• 학습자가 교사로부터 점진적으로 지식을 습득할 수 있는 점진적 훈련 전략을 개발한다.
• 기존 기법들인 양자화 및 절삭과 호환되는 일반화된 모델 압축 프레임워크를 구축한다.

제안 방법

• 지식 증류를 다수의 점진적 단계로 나누어 수행하는 단계별 훈련 파라다임을 도입한다.
• 각 단계에서 학생 모델은 데이터의 부분집합을 사용하여 교사 모델의 소프트 레이블을 기반으로 훈련된다.
• 이전 단계에서 습득한 지식을 활용해 이후 단계의 성능을 향상시킨다.
• 각 단계에 맞게 조정된 교육 손실 함수를 사용하여 교차 엔트로피와 지식 증류 목표를 통합한다.
• 단계를 거치며 훈련 데이터의 복잡성 또는 모델 용량을 점진적으로 증가시켜 치명적인 잊힘을 방지한다.
• 표준 모델 압축 기법들, 예를 들어 양자화 및 절삭과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 단계별 훈련 접근 방식은 성능을 희생시키지 않고 지식 증류의 데이터 효율성을 향상시킬 수 있는가?
• RQ2 제한된 데이터 조건 하에서 단계별 지식 증류의 성능은 기존의 단일 단계 KD와 비교해 어떻게 되는가?
• RQ3 SKD는 훈련 데이터의 일부만 사용할 경우 얼마나 높은 정확도를 유지할 수 있는가?
• RQ4 SKD는 양자화 및 절삭과 같은 다른 모델 압축 기법과 호환되는가?

주요 결과

• SKD는 이미지 분류 및 의미 세분화 작업에서 훈련 데이터의 일부만 사용해도 뚜렷한 성능 향상을 이룬다.
• 모든 평가된 작업 및 데이터 환경에서 기존의 지식 증류 기법들을 능가한다.
• 데이터 요구량을 줄이면서도 높은 정확도를 유지하여 강력한 데이터 효율성을 입증한다.
• 제안된 방법은 양자화 및 절삭과 같은 다른 모델 압축 기법과 호환되어 일반화된 모델 압축을 가능하게 한다.