[논문 리뷰] Knowledge Distillation with the Reused Teacher Classifier

Defang Chen, Jian-Ping Mei외 4명|arXiv (Cornell University)|2022. 03. 26.

Advanced Neural Network Applications인용 수 14

한 줄 요약

이 논문은 사전 훈련된 교사 모델의 분류기 재사용을 통해 학생 추론을 수행하면서도, 단일 ℓ₂ 손실을 통해 학생 특징을 교사의 특징에 정렬하는 간단한 지식 증류 방법인 SimKD를 제안한다. 차원 불일치 문제를 해결하기 위해 경량 프로젝터를 추가함으로써 SimKD는 최소한의 압축 비용으로 최신 기술 성능을 달성하며, 다양한 아키텍처와 설정에서 이전 방법들을 능가한다.

ABSTRACT

Knowledge distillation aims to compress a powerful yet cumbersome teacher model into a lightweight student model without much sacrifice of performance. For this purpose, various approaches have been proposed over the past few years, generally with elaborately designed knowledge representations, which in turn increase the difficulty of model development and interpretation. In contrast, we empirically show that a simple knowledge distillation technique is enough to significantly narrow down the teacher-student performance gap. We directly reuse the discriminative classifier from the pre-trained teacher model for student inference and train a student encoder through feature alignment with a single $\ell_2$ loss. In this way, the student model is able to achieve exactly the same performance as the teacher model provided that their extracted features are perfectly aligned. An additional projector is developed to help the student encoder match with the teacher classifier, which renders our technique applicable to various teacher and student architectures. Extensive experiments demonstrate that our technique achieves state-of-the-art results at the modest cost of compression ratio due to the added projector.

연구 동기 및 목표

• 복잡한 지식 표현에 의존하지 않고 지식 증류에서 교사 모델과 학생 모델 간의 성능 격차를 해소하는 것.
• 다중 손실 최적화 및 복잡한 지식 전달 메커니즘의 필요성을 제거함으로써 지식 증류를 단순화하는 것.
• 경량 프로젝터를 통해 다양한 학생-교사 아키텍처에 대한 일반적 적용을 가능하게 하는 것.
• 단일 ℓ₂ 손실을 통한 특징 정렬과 분류기 재사용이 거의 교사 수준의 성능을 달성할 수 있음을 보여주는 것.
• 다중 교사 및 데이터 없음 증류와 같은 도전적인 상황에서 방법의 성능을 평가하는 것.

제안 방법

• 학습된 교사의 분류기를 직접 학생 추론에 재사용하여 학생 분류기의 재훈련을 방지한다.
• 분류기 이전의 층에서 학생 특징과 교사 특징을 단일 ℓ₂ 손실을 통해 정렬한다.
• 학습자 인코더 뒤에 경량 프로젝터를 도입하여 학생과 교사 특징 간의 차원 불일치 문제를 해결한다.
• 지식 증류 중에는 오직 학습자 인코더와 프로젝터만 훈련하고, 교사 분류기는 고정한다.
• 분류 전 최종 히든 레이어에서 특징 정렬을 수행하여 성능 유사도를 극대화한다.
• 모바일넷, 셔플넷, 리스넷 변형 등 다양한 학생-교사 아키텍처 조합에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 단일 ℓ₂ 손실을 통한 특징 정렬과 분류기 재사용이 교사 모델과 학생 모델 간의 성능 격차를 해소할 수 있는가?
• RQ2 복잡한 지식 표현과 다중 손실 최적화를 제거함으로써 지식 증류의 훈련 안정성과 해석 가능성은 향상되는가?
• RQ3 경량 프로젝터의 추가가 다양한 아키텍처에서 압축 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 다중 교사 및 데이터 없음 지식 증류 설정으로 일반화 가능한가?
• RQ5 더 깊은 교사 레이어를 재사용할 경우 성능 향상과 파rameter 비용 간의 상충 관계는 어떠한가?

주요 결과

• SimKD는 모바일넷V2x2와 리스넷-32x4를 사용하여 CIFAR-100에서 78.08% ± 0.15의 테스트 정확도를 달성하며, 비교된 모든 최신 기술 방법들을 능가한다.
• 프로젝터로 인한 추가 파라미터 비용이 3% 미만이지만, 일부 경우에서는 기존의 단순 KD보다도 프루닝 비율을 향상시킨다.
• 차원 감소 요소 r=8인 '셔플넷V2 & 리스넷-32x4' 설정에서 SimKD는 77.49%의 정확도를 기록하여 세미CKD(77.62%)에 이어 두 번째로 높은 성능을 보였다.
• t-SNE를 활용한 시각화 결과, 훈련 후 학생과 교사의 특징이 거의 구별되지 않음을 확인하여 효과적인 정렬이 이루어졌음을 입증한다.
• 더 깊은 교사 레이어를 재사용하는 SimKD+와 SimKD++로의 확장은 정확도를 추가로 향상시키지만, 프루닝 비율을 크게 감소시켜 성능과 복잡성 간의 상충 관계를 보여준다.
• 데이터 없음 및 다중 교사 설정에서도 SimKD는 추가 훈련 데이터나 복잡한 수정 없이도 강력한 성능을 유지하며 잘 일반화됨을 확인했다.