[논문 리뷰] Channel Distillation: Channel-Wise Attention for Knowledge Distillation

Zaida Zhou, Chaoran Zhuge외 2명|arXiv (Cornell University)|2020. 06. 02.

Advanced Neural Network Applications참고 문헌 36인용 수 40

한 줄 요약

본 논문은 채널 단위 주의(attention)를 교사에서 학생으로 전달하기 위한 Channel Distillation(CD)을 소개하고, 교사 출력 중 정확히 예측된 것만을 지도에 활용하는 Guided Knowledge Distillation(GKD)으로 보강하며, 학습 중 distillation의 영향력을 점진적으로 줄이는 Early Decay Teacher(EDT) 전략을 적용해 ImageNet에서 최첨단 성능을 달성하고 CIFAR100에서 강한 향상을 보인다.

ABSTRACT

Knowledge distillation is to transfer the knowledge from the data learned by the teacher network to the student network, so that the student has the advantage of less parameters and less calculations, and the accuracy is close to the teacher. In this paper, we propose a new distillation method, which contains two transfer distillation strategies and a loss decay strategy. The first transfer strategy is based on channel-wise attention, called Channel Distillation (CD). CD transfers the channel information from the teacher to the student. The second is Guided Knowledge Distillation (GKD). Unlike Knowledge Distillation (KD), which allows the student to mimic each sample's prediction distribution of the teacher, GKD only enables the student to mimic the correct output of the teacher. The last part is Early Decay Teacher (EDT). During the training process, we gradually decay the weight of the distillation loss. The purpose is to enable the student to gradually control the optimization rather than the teacher. Our proposed method is evaluated on ImageNet and CIFAR100. On ImageNet, we achieve 27.68% of top-1 error with ResNet18, which outperforms state-of-the-art methods. On CIFAR100, we achieve surprising result that the student outperforms the teacher. Code is available at https://github.com/zhouzaida/channel-distillation.

연구 동기 및 목표

• 원시 표현이 아닌 채널 단위 주의를 전달함으로써 지식 증류(KD)를 개선하려는 동기를 부여한다.
• 교사에서 학생으로 채널 주의를 전달하기 위한 Channel Distillation(CD)을 제안한다.
• 지도가 교사 출력이 정확히 예측된 경우에만 사용되도록 Guided Knowledge Distillation(GKD)을 도입한다.
• 학습 도중에 distillation의 영향력을 점진적으로 감소시키기 위해 Early Decay Teacher(EDT)를 도입한다.

제안 방법

• Channel Distillation(CD): 피처 맵에 대해 교사와 학생 간 채널 가중치를 맞추어 채널 주의를 전달하기 위해 w_c 기반 손실을 사용한다.
• Guided Knowledge Distillation(GKD): 교사가 정확히 예측한 샘플에만 KD 손실을 적용하고 잘못 예측한 교사 예측은 무시한다.
• Early Decay Teacher(EDT): 학습이 진행됨에 따라 distillation 손실 가중치를 점진적으로 감소시킨다.
• Loss 형식: Loss(s,t) = EDT(alpha)CD(s,t) + GKD(s,t) + CE(s,y).
• Ablation 및 평가: ImageNet(ResNet34→ResNet18) 및 CIFAR100(ResNet152→ResNet50)에서 KD, FitNets, AT, RKD 등과 비교.

실험 결과

연구 질문

• RQ1 CD를 통한 채널 단위 주의 전달이 전통적 KD에 비해 학생 모델의 성능을 향상시키는가?
• RQ2 GKD를 통해 KD를 교사가 정확히 예측한 출력으로만 제한하는 것이 부정적 전이을 줄이는가?
• RQ3 점진적으로 감소하는 distillation 영향이 더 나은 지역 최적해와 최종 정확도에 기여하는가?
• RQ4 제안된 CD+GKD+EDT가 대규모(ImageNet) 및 소규모(CIFAR100) 데이터셋에서 기존의 지식 증류 방법들과 어떻게 비교되는가?

주요 결과

• ImageNet에서 CD 단독은 ResNet18로 표준 KD보다 상위-1 오차에서 우수하며, 초록에 보고된 27.68% 상위-1 오차이다.
• CD+GKD는 더 나아가 상위-1 27.61%, 상위-5 9.20%로 향상시킨다.
• CD+GKD+EDT는 목록에 기재된 방법들 중 ImageNet에서 최첨단 성능을 달성하며, 상위-1 오차 27.61%, 상위-5 오차 9.20%를 기록한다.
• CIFAR100에서 CD 증류는 특정 설정에서 ResNet50 학생이 ResNet152 교사를 넘어서는 것을 가능하게 한다.
• GKD는 교사의 올바른 예측으로부터의 지식만을 포함시킴으로써 부정적 전이를 줄인다.
• EDT는 distillation 가중치를 점진적으로 감소시켜 학생이 자체 최적화를 다듬도록 한다.