[논문 리뷰] From Knowledge Distillation to Self-Knowledge Distillation: A Unified Approach with Normalized Loss and Customized Soft Labels

Zhendong Yang, Ailing Zeng외 4명|arXiv (Cornell University)|2023. 03. 23.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 정규화 지식 정련(NKD)과 일반 자지식 정련(USKD)을 도입하여 지식 정련(KD)과 자기지식 정련(self-KD)을 통합한 프레임워크를 제안한다. NKD는 비대상 소프트 레이블의 활용을 향상시키기 위해 비대상 로짓을 정규화하며, USKD는 학생 모델의 특징과 지프의 법칙을 사용해 대상 및 비대상 클래스 모두에 맞는 소프트 레이블을 생성함으로써, 최소한의 계산 오버헤드로 CNN 및 ViT 아키텍처에서 최신 기술 성능을 달성한다.

ABSTRACT

Knowledge Distillation (KD) uses the teacher's prediction logits as soft labels to guide the student, while self-KD does not need a real teacher to require the soft labels. This work unifies the formulations of the two tasks by decomposing and reorganizing the generic KD loss into a Normalized KD (NKD) loss and customized soft labels for both target class (image's category) and non-target classes named Universal Self-Knowledge Distillation (USKD). We decompose the KD loss and find the non-target loss from it forces the student's non-target logits to match the teacher's, but the sum of the two non-target logits is different, preventing them from being identical. NKD normalizes the non-target logits to equalize their sum. It can be generally used for KD and self-KD to better use the soft labels for distillation loss. USKD generates customized soft labels for both target and non-target classes without a teacher. It smooths the target logit of the student as the soft target label and uses the rank of the intermediate feature to generate the soft non-target labels with Zipf's law. For KD with teachers, our NKD achieves state-of-the-art performance on CIFAR-100 and ImageNet datasets, boosting the ImageNet Top-1 accuracy of ResNet18 from 69.90% to 71.96% with a ResNet-34 teacher. For self-KD without teachers, USKD is the first self-KD method that can be effectively applied to both CNN and ViT models with negligible additional time and memory cost, resulting in new state-of-the-art results, such as 1.17% and 0.55% accuracy gains on ImageNet for MobileNet and DeiT-Tiny, respectively. Our codes are available at https://github.com/yzd-v/cls_KD.

연구 동기 및 목표

• 지식 정련에서 소프트 레이블 활용을 향상시키기 위해 표준 KD 손실을 재구성하는 것.
• 학생과 교사 분포의 정렬을 향상시키기 위해 공통 손실 프레임워크를 통해 KD와 self-KD를 통합하는 것.
• 교사 모델이 필요 없이 일반적이고 효율적인 방법으로 맞춤형 소프트 레이블을 생성하는 방법을 개발하는 것.
• CNN 및 비전 트랜스포머(ViT) 아키텍처 모두에서 효과적인 self-KD를 가능하게 하는 것.
• 최소한의 추론 및 훈련 오버헤드로 최신 기술 성능을 달성하는 것.

제안 방법

• 표준 KD 손실을 교차엔트로피 형태의 대상 손실(교차엔트로피와 유사)과 비대상 손실로 분해한다.
• 비대상 로짓의 합을 정규화하여 교사 및 학생 분포를 균형 있게 만드는 정규화된 KD(NKD)를 제안한다.
• 학생 모델의 자체 특징 통계를 사용해 교사 모델 없이도 소프트 레이블을 생성하는 일반 자지식 정련(USKD)을 도입한다.
• 일반화를 향상시키기 위해 학생의 대상 로짓을 제곱하고 부드럽게 처리한 것을 소프트 타겟 레이블로 사용한다.
• 중간 특징의 순위에 대해 지프의 법칙을 적용하여 유사도 기반으로 비대상 소프트 레이블을 생성한다.
• 약한 로짓과 최종 로짓을 정규화하여 결합해 비대상 클래스의 순위를 결정함으로써 레이블 생성에 활용한다.

실험 결과

연구 질문

• RQ1 표준 KD 손실을 어떻게 재구성하여 정련 과정에서 소프트 레이블 활용을 향상시킬 수 있는가?
• RQ2 비대상 로짓을 정규화하여 KD에서 학생과 교사 분포를 더 잘 정렬할 수 있는가?
• RQ3 특히 ViT 아키텍처에서 교사 모델 없이 효과적인 소프트 레이블을 생성할 수 있는가?
• RQ4 자기지식 정련에서 학생의 대상 로짓에 대한 다양한 부드러움 전략의 영향은 무엇인가?
• RQ5 약한 로짓과 최종 로짓의 특징 순위 선택이 비대상 소프트 레이블 생성 성능에 미치는 영향은 무엇인가?

주요 결과

• NKD는 CIFAR-100과 ImageNet에서 최신 기술 성능을 달성하며, ResNet-34 교사 모델을 사용할 때 ResNet18 정확도를 69.90%에서 71.96%로 향상시켰다.
• USKD는 ImageNet에서 self-KD의 새로운 최신 기술 성능을 수립했으며, MobileNet에서 1.17%의 정확도 향상을, DeiT-Tiny에서는 0.55% 향상을 기록했다.
• 학생의 대상 로짓을 $S_t + V_t - \text{mean}(S_t)$ 방식으로 부드럽게 처리하는 것이 기준 성능 대비 0.86%의 정확도 향상을 이끌어냈다.
• 약한 로짓과 최종 로짓을 정규화하여 결합해 순위를 할당하는 것이 비대상 레이블 생성에 가장 뛰어난 성능을 보였으며, 오직 최종 로짓만 사용하는 것보다 0.09%의 성능 향상을 기록했다.
• USKD는 추가적인 시간과 메모리가 거의 필요 없어 실세계 적용에 실용적이다.
• 이 방법은 CNN과 ViT 모델 모두에서 효과적이며, 이전 self-KD 방법이 CNN에 국한되어 있던 한계를 극복했다.