[논문 리뷰] Preparing Lessons: Improve Knowledge Distillation with Better Supervision

Tiancheng Wen, Shenqi Lai외 1명|arXiv (Cornell University)|2019. 11. 18.

Advanced Neural Network Applications참고 문헌 51인용 수 20

한 줄 요약

이 논문은 잘못된 교사 예측과 과도하게 높은 불확실성에 기인한 교사의 잘못된 지도를 해결함으로써 지식 정착을 향상시키기 위해 지식 조정(Knowledge Adjustment, KA)과 동적 온도 정착(Dynamic Temperature Distillation, DTD)을 제안한다. KA는 지도 레이블을 사용하여 잘못 분류된 교사 예측을 수정하는 반면, DTD는 샘플별로 온도를 조정하여 소프트 레이블의 불확실성을 줄인다. 이 두 방법을 다른 KD 기법과 조합할 경우, CIFAR-100, CINIC-10, 그리고 Tiny ImageNet에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge distillation (KD) is widely used for training a compact model with the supervision of another large model, which could effectively improve the performance. Previous methods mainly focus on two aspects: 1) training the student to mimic representation space of the teacher; 2) training the model progressively or adding extra module like discriminator. Knowledge from teacher is useful, but it is still not exactly right compared with ground truth. Besides, overly uncertain supervision also influences the result. We introduce two novel approaches, Knowledge Adjustment (KA) and Dynamic Temperature Distillation (DTD), to penalize bad supervision and improve student model. Experiments on CIFAR-100, CINIC-10 and Tiny ImageNet show that our methods get encouraging performance compared with state-of-the-art methods. When combined with other KD-based methods, the performance will be further improved.

연구 동기 및 목표

• 지식 정착에서 교사 모델이 잘못된 예측이나 과도하게 높은 불확실성 있는 예측을 내는 나쁜 지도 문제를 해결하기 위해.
• 교사 네트워크로부터의 지도 품질을 개선하여 학생 모델의 성능을 향상시키기 위해.
• 더 잘 구조화된 소프트 레이블을 통해 유전적 오류를 줄이고 모델의 분류 능력을 향상시키기 위해.
• 기존의 KD 프레임워크와 호환되며 보편적으로 적용 가능한 방법을 개발하기 위해.
• 교사의 오류를 수정하고 불확실성을 줄이는 것이 다양한 데이터셋에서 일관된 성능 향상으로 이어지는지 조사하기 위해.

제안 방법

• 지식 조정(KA)은 손실 계산 이전에 잘못 분류된 샘플의 교사 예측을 진짜 레이블로 대체하여 교사 예측을 수정한다.
• KA는 하드 레이블 수정과 레이블 정규화라는 두 가지 구현 방식을 사용하며, 둘 다 정확한 지도를 보장한다.
• 동적 온도 정착(DTD)은 교사에서 유도된 소프트 타겟의 불확실성을 줄이기 위해 샘플별로 온도를 조정하는 방식을 도입한다.
• DTD는 예측 신뢰도에 따라 각 샘플마다 온도를 동적으로 조정하여 더 분류 능력이 뛰어난 소프트 레이블을 생성한다.
• 이 방법은 적응형 온도를 사용하는 미분 가능한 공식화를 통해 소프트 타겟을 계산함으로써 훈련 안정성을 향상시킨다.
• KA와 DTD는 표준 KD와 호환되며, AT 및 NST와 같은 다른 정착 기법과도 조합 가능하다.

실험 결과

연구 질문

• RQ1 교사 모델의 잘못된 지도가 지식 정착에서 학생 성능에 어떤 영향을 미치는가?
• RQ2 교사의 잘못된 예측을 수정하는 것으로 학생의 일반화 능력 향상과 유전적 오류 감소에 어느 정도 기여할 수 있는가?
• RQ3 동적 온도 조정이 소프트 레이블의 불확실성을 줄이고 학생의 분류 능력을 향상시키는 데 효과적인가?
• RQ4 KA와 DTD가 다른 기반 KD 기법과 조합되었을 때 성능은 어떠한가?
• RQ5 지도 품질이 이질적인 교사-학생 설정에서 정착 성능에 상당한 영향을 미치는가?

주요 결과

• KA와 DTD는 각각 CIFAR-100, CINIC-10, 그리고 Tiny ImageNet에서 정확도 향상을 이끌었으며, DTD-KA는 최신 기술 수준의 성능을 달성했다.
• Tiny ImageNet에서 DTD-KA는 최고의 top-1 정확도를 기록했고, 다른 방법보다 더 많은 유전적 오류를 감소시켰다.
• AT 및 NST와 같은 기존 기법과 KA와 DTD를 조합함으로써 추가적인 성능 향상이 이루어졌으며, 이는 높은 호환성을 시사한다.
• 특히 Tiny ImageNet에서의 경우, 대부분의 유전적 오류가 교사의 잘못된 예측에 기인해 있어, 교사 오류 수정이 매우 유의미한 효과를 보였다.
• 실험 결과, 학생의 오류의 약 50퍼센트가 교사의 잘못된 예측에 기인해 있음을 확인하여, 지도 보정의 필요성을 입증했다.
• DTD는 샘플별로 온도를 적응적으로 조정함으로써 소프트 레이블의 불확실성을 효과적으로 완화하여 더 신뢰할 수 있는 지도를 제공했다.