[논문 리뷰] Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation

Jia Guo, Minghao Chen외 4명|arXiv (Cornell University)|2020. 10. 15.

Advanced Neural Network Applications참고 문헌 25인용 수 11

한 줄 요약

이 논문은 대규모 교사 모델의 과도한 확신 예측으로 인한 신뢰도 격차를 제거하기 위해 교사 및 학생 모델의 로짓을 단위 구면 상에 정규화하는 구면 지식 정복(Spherical Knowledge Distillation, SKD)을 제안한다. 크기보다 방향성 지식에 집중함으로써, SKD는 과소적합을 크게 감소시키며, ResNet50에서 정규화된 ResNet18을 사용해 ImageNet에서 73.0%의 top-1 정확도를 달성하여 더 큰 ResNet34와 동등한 성능을 보이며, 온도 하이퍼파rameter에 대해 뛰어난 내성성을 보인다.

ABSTRACT

Knowledge distillation aims at obtaining a compact and effective model by learning the mapping function from a much larger one. Due to the limited capacity of the student, the student would underfit the teacher. Therefore, student performance would unexpectedly drop when distilling from an oversized teacher, termed the capacity gap problem. We investigate this problem by study the gap of confidence between teacher and student. We find that the magnitude of confidence is not necessary for knowledge distillation and could harm the student performance if the student are forced to learn confidence. We propose Spherical Knowledge Distillation to eliminate this gap explicitly, which eases the underfitting problem. We find this novel knowledge representation can improve compact models with much larger teachers and is robust to temperature. We conducted experiments on both CIFAR100 and ImageNet, and achieve significant improvement. Specifically, we train ResNet18 to 73.0 accuracy, which is a substantial improvement over previous SOTA and is on par with resnet34 almost twice the student size. The implementation has been shared at https://github.com/forjiuzhou/Spherical-Knowledge-Distillation.

연구 동기 및 목표

• 과도한 확신 예측으로 인해 학생 모델이 큰 교사 모델보다 성능이 떨어지는 능력 격차 문제를 해결하기 위해.
• 큰 교사 모델에서의 신뢰도 크기(로짓 노름)가 지식 정복 과정에서 학생 성능에 악영향을 미치는지 조사하기 위해.
• 지식 정복을 신뢰도 크기에서 분리하여 로짓의 방향성 유사성에만 집중하는 방법을 제안하기 위해.
• 매우 큰 교사 모델에서 정제할 때, 작고 효율적인 학생 모델의 일반화 능력과 학습 안정성을 향상시키기 위해.
• 지식 정복에서 온도 하이퍼파rameter 조정에 대한 의존도를 줄이기 위해.

제안 방법

• 구면 지식 정복(SKD)은 교사 및 학생 모델의 로짓을 단위 길이로 정규화하여 동일한 구면 상에 투영한다.
• 이 방법은 학생 모델이 교사의 신뢰도 크기를 학습할 필요 없이 로짓의 방향성에만 집중할 수 있도록 한다.
• SKD는 정규화된 로짓(단위 벡터) 간의 교차 엔트로피 손실을 사용하며, 이는 클래스 확률 방향을 나타낸다.
• 표준 지식 정복 프레임워크와 호환되며, 최소한의 아키텍처 변경으로 적용 가능하다.
• 노름 학습을 제거함으로써 SKD는 모델 용량을 방향성 지식 학습에 더 효과적으로 활용할 수 있게 되어 일반화 능력이 향상된다.
• 온도 스케일링에 대해 내성적이며, 정규화가 자연스럽게 부드러움을 제어하므로 온도에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 큰 교사 모델에서의 신뢰도 크기가 지식 정복 과정에서 학생 성능에 악영향을 미치는가?
• RQ2 신뢰도 크기 학습이 필요 없어지면 교사와 학생 간의 능력 격차가 줄어드는가?
• RQ3 로짓의 방향성에 집중할 때 지식 정복이 크기보다 더 효과적인가?
• RQ4 매우 큰 교사 모델인 ResNet152에서 표준 KD와 비교해 SKD는 어떻게 성능을 내는가?
• RQ5 표준 KD와 달리 SKD는 온도 하이퍼파rameter 조정에 대해 내성적인가?

주요 결과

• ResNet50에서 정규화된 ResNet18을 사용해 ImageNet에서 73.0%의 top-1 정확도를 달성하였으며, 더 큰 ResNet34와 동등한 성능이다.
• ResNet152를 교사로 사용할 경우, SKD는 72.70%의 top-1 정확도를 기록하여 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 과도한 교사 모델을 사용할 경우, SKD는 KD보다 훈련 및 테스트 손실을 더 효과적으로 감소시켜 최적화 및 일반화 능력 향상을 시사한다.
• 특히 큰 교사 모델을 사용할 경우, SKD에서는 교사와 학생 간 정규화된 로짓 간 차이(MSE 손실)가 KD보다 상당히 낮게 나타났다.
• SKD는 넓은 온도 범위에서 뛰어난 내성성을 보였지만, 표준 KD는 좁은 최적 범위 외에서는 성능이 급격히 떨어졌다.
• SKD는 노름 피팅 오차를 제거하여 학생 모델이 방향성 지식의 구조 학습에만 집중할 수 있게 되었으며, 이는 성능 향상에 기여했다.