[논문 리뷰] Dynamic Rectification Knowledge Distillation

Fahad Rahman Amik, Ahnaf Ismat Tasin외 3명|arXiv (Cornell University)|2022. 01. 27.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 교사 없이 작동하는 지식 증류 프레임워크인 동적 교정 지식 증류(DR-KD)를 제안한다. DR-KD는 증류 이전에 정답 레이블을 사용하여 잘못된 로그리트를 교정함으로써 학생 네트워크를 자신의 동적 교사로 전환한다. DR-KD는 기준 모델 대비 Tiny ImageNet에서 2.65%의 정확도 향상을 기록했으며, CIFAR-100에서는 3.28% 향상되었으며, 추가적인 훈련 비용이나 대규모 교사 모델 없이도 최신 기법들을 능가한다.

ABSTRACT

Knowledge Distillation is a technique which aims to utilize dark knowledge to compress and transfer information from a vast, well-trained neural network (teacher model) to a smaller, less capable neural network (student model) with improved inference efficiency. This approach of distilling knowledge has gained popularity as a result of the prohibitively complicated nature of such cumbersome models for deployment on edge computing devices. Generally, the teacher models used to teach smaller student models are cumbersome in nature and expensive to train. To eliminate the necessity for a cumbersome teacher model completely, we propose a simple yet effective knowledge distillation framework that we termed Dynamic Rectification Knowledge Distillation (DR-KD). Our method transforms the student into its own teacher, and if the self-teacher makes wrong predictions while distilling information, the error is rectified prior to the knowledge being distilled. Specifically, the teacher targets are dynamically tweaked by the agency of ground-truth while distilling the knowledge gained from traditional training. Our proposed DR-KD performs remarkably well in the absence of a sophisticated cumbersome teacher model and achieves comparable performance to existing state-of-the-art teacher-free knowledge distillation frameworks when implemented by a low-cost dynamic mannered teacher. Our approach is all-encompassing and can be utilized for any deep neural network training that requires categorization or object recognition. DR-KD enhances the test accuracy on Tiny ImageNet by 2.65% over prominent baseline models, which is significantly better than any other knowledge distillation approach while requiring no additional training costs.

연구 동기 및 목표

• 기존 지식 증류가 대규모 사전 훈련된 교사 모델에 의존함에 따라 발생하는 높은 계산 비용과 훈련 비용을 해결하기 위해.
• 복잡하고 비싼 교사 모델이 필요 없도록 하여 학생 모델이 스스로 자신의 교사가 되도록 하기 위해.
• 정답 레이블을 활용한 동적 보정을 통해 잘못된 지식 증류를 수정함으로써 학생 모델의 성능을 향상시키기 위해.
• 에지 디바이스 및 자원 제약 환경에 적합한 저비용이고 효율적인 증류 프레임워크를 개발하기 위해.
• 약한 훈련을 거친 교사 모델이 교정을 거치면, 잘 훈련된 교사 모델보다도 지식 증류에서 더 나은 성능을 낼 수 있는지 입증하기 위해.

제안 방법

• 학습자 모델이 스스로 자신의 교사가 되며, 지식 증류 이전에 정답 레이블을 사용하여 동적으로 잘못된 로그리트를 교정한다.
• 학습자가 생성한 잘못된 로그리트는 소프트맥스 활성화 이전에 정답의 원-핫 벡터로 대체되어, 오직 정확한 지식만 증류되도록 보장한다.
• 온도 T에서 정규화된 학습자(교사)와 원본 학습자(학습자) 간의 쿨백-라이블러(KLD) 발산을 사용하여 지식 증류를 수행한다.
• 최종 손실는 교사와 학습자 간의 KLD와 정답을 사용한 교차 엔트로피 손실의 조합으로 구성되어, 엔드 투 엔드 훈련이 가능하다.
• 증류 중 소프트 레이블 학습을 안정화하기 위해 학습자의 소프트맥스에 온도 스케일링을 적용한다.
• 이 방법은 어떤 딥 뉴럴 네트워크 아키텍처와도 호환되며, 이미지 분류 및 객체 인식 작업에 적용 가능하다.

실험 결과

연구 질문

• RQ1 학습자가 잘못된 예측을 동적으로 교정함으로써 스스로 자신의 교사가 되면, 더 뛰어난 성능을 달성할 수 있는가?
• RQ2 대규모 사전 훈련된 교사 모델이 필요 없도록 하면, 지식 증류의 효율성과 성능이 향상되는가?
• RQ3 증류 이전에 정답 레이블을 사용해 로그리트를 교정하면, 대규모 교사 모델을 사용하는 전통적 증류보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 다양한 데이터셋과 모델 아키텍처에서 DR-KD는 최신 기술의 교사 없는 및 교사 기반 증류 방법보다 어떻게 비교되는가?
• RQ5 약한 훈련을 거친 교사 모델이 교정을 거치면, 잘 훈련된 교사 모델보다 지식 증류에서 더 나은 성능을 낼 수 있는가?

주요 결과

• DR-KD는 MobileNetV2에 적용했을 때 기준 모델 대비 Tiny ImageNet에서 2.65%의 정확도 향상을 기록했으며, Normal KD 및 Tf-KD를 포함한 모든 비교 방법을 능가한다.
• CIFAR-100에서 DR-KD는 약한 훈련된 교사 모델에 적용했을 때 성능을 3.28% 향상시켰으며, 모든 기준 모델을 크게 앞서 간다.
• Tiny ImageNet에서 MobileNetV2에 적용했을 때 DR-KD는 57.71%의 테스트 정확도를 기록했으며, 기준 모델의 55.06% 대비 2.65%의 절대적 향상률을 보였다.
• 정규화된 자기 교사 모델(200만 파라미터)은 Tiny ImageNet에서 ResNet18 교사(1100만 파라미터)보다 성능이 뛰어나, 동적 교정의 효용성을 입증한다.
• DR-KD는 모든 평가된 모델—MobileNetV2, ShuffleNetV2, ResNet50, DenseNet121—에 대해 세 가지 데이터셋(CIFAR-100, CIFAR-10, Tiny ImageNet)에서 일관되게 정확도를 향상시킨다.
• 이 방법은 추가적인 훈련 비용이 없으며, 어떤 딥 러닝 모델과도 호환되어 엣지 장치에의 구현에 매우 실용적이다.