[논문 리뷰] Knowledge Distillation from A Stronger Teacher

Tao Huang, Shan You외 3명|arXiv (Cornell University)|2022. 05. 21.

Advanced Neural Network Applications인용 수 95

한 줄 요약

DIST는 교사가 더 강력할 때 정확한 출력 일치를 완화하는 상관관계 기반의 관계 증류를 도입하여 이미지 분류, 객체 탐지, 시맨틱 분할 전반에 걸쳐 일관된 최첨단 성능 향상을 달성한다.

ABSTRACT

Unlike existing knowledge distillation methods focus on the baseline settings, where the teacher models and training strategies are not that strong and competing as state-of-the-art approaches, this paper presents a method dubbed DIST to distill better from a stronger teacher. We empirically find that the discrepancy of predictions between the student and a stronger teacher may tend to be fairly severer. As a result, the exact match of predictions in KL divergence would disturb the training and make existing methods perform poorly. In this paper, we show that simply preserving the relations between the predictions of teacher and student would suffice, and propose a correlation-based loss to capture the intrinsic inter-class relations from the teacher explicitly. Besides, considering that different instances have different semantic similarities to each class, we also extend this relational match to the intra-class level. Our method is simple yet practical, and extensive experiments demonstrate that it adapts well to various architectures, model sizes and training strategies, and can achieve state-of-the-art performance consistently on image classification, object detection, and semantic segmentation tasks. Code is available at: https://github.com/hunto/DIST_KD .

연구 동기 및 목표

• 강력한 교사가 일반적인 KD를 왜 불안정하게 만들 수 있는지와 이를 해결하는 방법을 조사한다.
• 정확한 출력이 아니라 교사–학생 관계를 보존하는 관계 기반 증류 손실을 제안한다.
• 인스턴스 수준의 유사성을 포착하기 위해 intra-class 관계로 rel 증류를 확장한다.
• 다양한 아키텍처, 전략 및 비전 과제(분류, 탐지, 분할) 전반에 걸친 효과를 입증한다.

제안 방법

• KL 발산 매칭을 피어슨 상관관계를 통해 클래스 간 관계를 보존하는 관계 기반 손실로 교체한다.
• 배치 전체에서 교사와 학생 예측 벡터 간의 평균 피어슨 거리로 inter-class 관계 손실 L_inter를 정의한다.
• 교사와 학생 예측 행렬을 열 방향으로 비교하여 클래스 간 평균 피어슨 거리로 intra-class 관계 손실 L_intra를 정의한다.
• 공동 학습 목적 L_tr = alpha * L_cls + beta * L_inter + gamma * L_intra를 최적화한다.
• 정확한 확률이 아니라 상대적 관계를 매칭하는 것이 더 강력한 교사 및 학습 전략 하에서 견고한 지식 증류를 낳는다는 것을 보인다.

실험 결과

연구 질문

• RQ1 강력한 교사가 표준 지식 증류 성능에 어떤 영향을 미치는가?
• RQ2 교사와 학생 예측 간의 관계를 보존하는 것이(정확한 값이 아니라) 교사가 더 강력할 때 KD를 향상시킬 수 있는가?
• RQ3 클래스 간 및 클래스 내 관계 증류를 개별적으로와 함께 결합하여 어떤 영향이 있는가?
• RQ4 제안된 DIST 손실이 다양한 아키텍처와 학습 전략에서 이미지 분류, 객체 탐지 및 시맨틱 분할에 효과적인가?

주요 결과

• DIST는 ImageNet에서 다수의 교사–학생 쌍에 대해 일반 KD 및 여러 최신 KD 방법을 능가한다(예: ResNet-18 학생, ResNet-34 교사: DIST의 Top-1 72.07% 대 KD의 69.76%).
• 더 큰 교사일수록 DIST의 이득이 커진다(예: ResNet-18-ResNet-34: 기본 대비 +2.31, KD 대비 +0.86; ResNet-18-ResNet-152: KD 대비 +1.93).
• 강력한 Swin-L 교사와 함께 Swin-T에서 82.3% Top-1을 달성하여 기존 KD 대비 1% 포인트 개선하였다.
• DIST는 강력한 학습 전략 하에서 CIFAR-100 및 ImageNet 성능을 지속적으로 향상시키며, COCO 객체 탐지 및 Cityscapes 시맨틱 분할에서도 경쟁력 있는 결과를 제공한다.
• 결과분해 연구에서 클래스 간 및 클래스 내 관계 모두 기여하며, 이들의 결합이 가장 좋은 성능을 제공한다.
• KD 손실만으로 학습(정답 레이블 없음)할 때도 DIST로 개선이 나타나며, 관계 신호의 효과적인 증류를 시사한다.