[논문 리뷰] Improved Knowledge Distillation via Teacher Assistant: Bridging the Gap Between Student and Teacher

Seyed Iman Mirzadeh, Mehrdad Farajtabar외 2명|arXiv (Cornell University)|2019. 02. 09.

Advanced Neural Network Applications참고 문헌 26인용 수 128

한 줄 요약

이 논문은 대규모 교사 네트워크와 소규모 학생 네트워크 사이의 성능 격차를 메우기 위해 교사 보조자(teacher assistant)를 활용한 다단계 지식 증류를 제안한다. 중간 크기의 교사 보조자를 도입함으로써, 특히 학생-교사 크기 격차가 클 경우 지식 전이를 향상시킨다. 이 방법은 ResNet과 평면형 CNN 아키텍처를 사용할 때 CIFAR-10 및 CIFAR-100에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Despite the fact that deep neural networks are powerful models and achieve appealing results on many tasks, they are too gigantic to be deployed on edge devices like smart-phones or embedded sensor nodes. There has been efforts to compress these networks, and a popular method is knowledge distillation, where a large (a.k.a. teacher) pre-trained network is used to train a smaller (a.k.a. student) network. However, in this paper, we show that the student network performance degrades when the gap between student and teacher is large. Given a fixed student network, one cannot employ an arbitrarily large teacher, or in other words, a teacher can effectively transfer its knowledge to students up to a certain size, not smaller. To alleviate this shortcoming, we introduce multi-step knowledge distillation which employs an intermediate-sized network (a.k.a. teacher assistant) to bridge the gap between the student and the teacher. We study the effect of teacher assistant size and extend the framework to multi-step distillation. Moreover, empirical and theoretical analysis are conducted to analyze the teacher assistant knowledge distillation framework. Extensive experiments on CIFAR-10 and CIFAR-100 datasets and plain CNN and ResNet architectures substantiate the effectiveness of our proposed approach.

연구 동기 및 목표

• 학습자 네트워크가 교사 네트워크보다 상당히 작을 경우 지식 증류에서 성능 저하 문제를 해결한다.
• 대규모 교사가 매우 소규모 학생에게 효과적으로 지식을 전달하지 못하는 제한 요소(아키텍처 격차가 큼)를 극복한다.
• 중간 크기의 교사 보조자를 활용한 다단계 증류 프레임워크를 제안하여 지식 전이의 다리를 놓는다.
• 교사 보조자의 크기 영향을 분석하고, 성능 향상을 위해 다단계 증류로 프레임워크를 확장한다.

제안 방법

• 학습자와 원래 교사 사이의 중간 크기 모델인 교사 보조자를 증류 파이프라인에 삽입한다.
• 교사 보조자를 통해 대규모 교사 네트워크의 지식을 추출하고, 이를 두 단계 과정을 거쳐 소규모 학생 네트워크로 전달한다.
• 두 단계 모두 지식 증류를 적용한다: 첫 번째 단계는 교사에서 교사 보조자로, 두 번째 단계는 교사 보조자에서 학습자로.
• 부드러운 레이블과 특징 수준의 지식 전달을 활용하여 증류 과정을 최적화하며, 교차 엔트로피와 KL 발산을 손실 구성 요소로 사용한다.
• 교사 보조자의 크기를 체계적으로 변화시켜 학습자 성능에 미치는 영향을 분석한다.
• 다중 중간 모델을 연결하여 연속적으로 학습자와 교사 사이의 격차를 줄이는 방식으로 다단계 증류 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 큰 교사와 작은 학생 간의 성능 격차를 효과적으로 메우기 위해 교사 보조자가 지식 증류에서 기여하는가?
• RQ2 교사 보조자의 크기가 최종 학습자 모델의 정확도에 어떤 영향을 미치는가?
• RQ3 학습자-교사 크기 격차가 클 경우 다단계 증류가 단일 단계 증류보다 성능이 뛰어나게 되는가?
• RQ4 중간 모델을 사용한 개선된 지식 전이의 이론적 및 실증적 근거는 무엇인가?

주요 결과

• 학습자-교사 크기 격차가 클 경우 기존의 표준 지식 증류에 비해 제안된 교사 보조자 프레임워크가 학습자 네트워크의 정확도를 크게 향상시킨다.
• 교사가 학습자에 비해 너무 클 경우 성능 저하가 발생함을 확인하여, 효과적인 지식 전이에 대한 실용적 상한선 존재를 입증한다.
• 최적의 교사 보조자 크기는 학습자와 원래 교사 사이에 위치하며, 중간 크기에서 성능이 최고조에 이른다.
• 여러 개의 교사 보조자를 활용한 다단계 증류는 특히 ResNet과 같은 깊은 아키텍처에서 CIFAR-10 및 CIFAR-100에서 정확도를 더욱 향상시킨다.
• 실증 결과는 평면형 CNN과 ResNet 모델 모두에서 CIFAR-10 및 CIFAR-100 데이터셋에서 일관된 성능 향상이 이루어짐을 보여준다.
• 이론적 및 실증적 분석을 통해 교사 보조자가 분포 이탈을 줄이고 지식 전이 중 특징 정렬을 향상시킴을 확인한다.