[논문 리뷰] Asymmetric Temperature Scaling Makes Larger Networks Teach Well Again

Xinchun Li, Wen-Shu Fan외 5명|arXiv (Cornell University)|2022. 10. 10.

Neural Networks and Applications인용 수 12

한 줄 요약

이 논문은 지식 증류 과정에서 올바른 클래스와 잘못된 클래스의 로그릿에 다른 온도 값을 적용하는 비대칭 온도 스케일링(ATS)을 제안한다. 이는 과신하는 대형 교사 모델이 잘못된 클래스의 확률을 더 잘 구분할 수 있도록 하여, 학생 모델의 성능을 크게 향상시킨다. ATS는 복잡한 아키텍처나 학습 방식 없이도 대형 모델이 효과적으로 학생을 가르칠 수 있도록 하여, 최신 기법들을 능가하며 대형 교사 모델의 가르침 능력을 회복시킨다.

ABSTRACT

Knowledge Distillation (KD) aims at transferring the knowledge of a well-performed neural network (the {\it teacher}) to a weaker one (the {\it student}). A peculiar phenomenon is that a more accurate model doesn't necessarily teach better, and temperature adjustment can neither alleviate the mismatched capacity. To explain this, we decompose the efficacy of KD into three parts: {\it correct guidance}, {\it smooth regularization}, and {\it class discriminability}. The last term describes the distinctness of {\it wrong class probabilities} that the teacher provides in KD. Complex teachers tend to be over-confident and traditional temperature scaling limits the efficacy of {\it class discriminability}, resulting in less discriminative wrong class probabilities. Therefore, we propose {\it Asymmetric Temperature Scaling (ATS)}, which separately applies a higher/lower temperature to the correct/wrong class. ATS enlarges the variance of wrong class probabilities in the teacher's label and makes the students grasp the absolute affinities of wrong classes to the target class as discriminative as possible. Both theoretical analysis and extensive experimental results demonstrate the effectiveness of ATS. The demo developed in Mindspore is available at https://gitee.com/lxcnju/ats-mindspore and will be available at https://gitee.com/mindspore/models/tree/master/research/cv/ats.

연구 동기 및 목표

• 지식 증류에서 더 크고 정확한 교사 모델이 학생을 효과적으로 가르치지 못하는 이유를 규명하는 것.
• 특히 잘못된 클래스 확률의 구분 능력이 떨어지는 것과 관련된 대형 모델의 낮은 성능 기인 원인을 규명하는 것.
• 아키텍처나 학습 복잡성 없이도 효과적인 방법을 개발하여 대형 모델의 가르침 능력을 복원하는 것.
• 기존의 온도 스케일링이 대형 교사 모델의 잠재력을 제한하는 이유는 잘못된 클래스 확률의 분산이 감소하기 때문임을 입증하는 것.

제안 방법

• 논문은 지식 증류를 세 가지 구성 요소로 분해한다: 올바른 지시, 부드러운 정규화, 그리고 클래스의 구분 능력(소프트맥스 이후 잘못된 클래스 확률의 분산으로 측정됨).
• 비대칭 온도 스케일링(ATS)을 도입하여, 올바른 클래스 로그릿에는 높은 온도를, 잘못된 클래스 로그릿에는 낮은 온도를 적용함으로써 잘못된 클래스 확률의 유도된 분산을 증가시킨다.
• ATS는 올바른 클래스와 잘못된 클래스에 대해 별도의 온도 스케일링을 적용하는 방식으로 수식화되며, 올바른 클래스에선 $\tau_1$을, 잘못된 클래스에선 $\tau_2$를 사용하고, $\tau_1 > \tau_2$ 조건을 통해 구분 능력을 향상시킨다.
• 이 방법은 기존의 균일한 온도 스케일링이 과신하는 대형 교사 모델의 잘못된 클래스 점수에 내재된 낮은 분산으로 인해 구분 능력이 떨어지므로 이론적으로 정당화된다.
• CIFAR-100, TinyImageNet, CUB, Dogs 데이터셋에서 다양한 학생-교사 구성에 대해 광범위한 실험을 수행하여 ATS의 유효성을 검증한다.
• Mindspore에 구현되어 데모로 공개되어 있어, 쉽게 통합하고 재현할 수 있다.

실험 결과

연구 질문

• RQ1 더 크고 정확한 교사 모델은 성능이 뛰어나지만 왜 학생을 효과적으로 가르치지 못하는가?
• RQ2 잘못된 클래스 확률의 구분 능력이 지식 증류 성능에 어떤 역할을 하는가?
• RQ3 기존의 온도 스케일링이 대형 모델의 가르침 잠재력을 완전히 해방시킬 수 있는가?
• RQ4 비대칭 온도 스케일링과 같은 단순하고 파rameter-free 수정을 통해 대형 모델의 가르침 능력을 복원할 수 있는가?

주요 결과

• 균일한 온도 스케일링을 사용하는 기존 지식 증류는 과신하는 대형 모델이 잘못된 클래스 확률의 분산을 줄여서 그 전반적인 가르침 잠재력을 제대로 활용하지 못한다.
• ATS는 잘못된 클래스 확률의 구분 능력을 향상시켜 학생의 성능을 크게 향상시키며, 대형 교사 모델이 다시 효과적으로 학생을 가르칠 수 있도록 한다.
• CIFAR-100에서 ATS는 대형 교사 모델을 사용한 표준 KD의 69.21%에서 학생 정확도를 70.32%로 향상시키며, 앙상블 예측을 사용할 경우 ResKD를 거의 1% 이상 뛰어넘는 성능을 기록한다.
• TinyImageNet에서는 대형 교사 모델을 사용한 KD에서 58.89%의 정확도를 기록했고, ST-KD를 사용할 경우 59.77%로 향상되었으며, ESKD, TAKD, SCKD, ResKD를 포함한 모든 최신 기법을 능가한다.
• 제거 실험 결과, $\tau_1 > \tau_2$ 조건, 특히 $\tau_2 \in [\tau_1 - 2, \tau_1 - 1]$일 때가 다양한 데이터셋과 하이퍼파라미터 설정에서 최적의 성능을 낸다.
• ATS는 다양한 손실 가중치 설정($\lambda$)에서도 일관된 향상을 유지하며 하이퍼파라미터 변화에 대해 강건하여 실용성과 신뢰성을 입증한다.