[논문 리뷰] Knowledge Distillation with Feature Maps for Image Classification

Wei‐Chun Chen, Chia-Che Chang외 2명|arXiv (Cornell University)|2018. 12. 03.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 공유 분류기와 생성적 적대적 네트워크(GANs)를 사용하여 교사 네트워크의 특징 맵을 전달함으로써 학생 모델 성능을 향상시키는 지식 정복 방법인 KDFM을 제안한다. 실험 결과, 4층의 CNN 학생 모델이 2배 빠른 추론 속도로 DenseNet-40의 정확도에 도달했으며, MobileNet은 CIFAR-100에서 77.20%의 정확도를 달성했고, DenseNet-100보다 6배 빠르고 크기가 절반 이하였다.

ABSTRACT

The model reduction problem that eases the computation costs and latency of complex deep learning architectures has received an increasing number of investigations owing to its importance in model deployment. One promising method is knowledge distillation (KD), which creates a fast-to-execute student model to mimic a large teacher network. In this paper, we propose a method, called KDFM (Knowledge Distillation with Feature Maps), which improves the effectiveness of KD by learning the feature maps from the teacher network. Two major techniques used in KDFM are shared classifier and generative adversarial network. Experimental results show that KDFM can use a four layers CNN to mimic DenseNet-40 and use MobileNet to mimic DenseNet-100. Both student networks have less than 1\% accuracy loss comparing to their teacher models for CIFAR-100 datasets. The student networks are 2-6 times faster than their teacher models for inference, and the model size of MobileNet is less than half of DenseNet-100's.

연구 동기 및 목표

• 모바일 및 IoT 시스템과 같은 자원이 제한된 장치에 대규모이고 계산 비용이 높은 딥 러닝 모델을 구현하는 데 도전하는 문제를 해결하기 위해.
• 최종 출력 확률값(logits) 외에도 중간 특징 맵을 활용하여 지식 정복을 향상시켜 더 효과적인 지식 전달을 위해.
• DenseNet과 같은 복잡하고 깊은 교사 네트워크의 성능을 따라잡을 수 있는 단순하고 浅층적이며 넓은 학생 네트워크를 개발하기 위해.
• 학생의 특징 맵이 교사의 특징 맵과 정렬되도록 하는 적대적 훈련을 통해 정복의 효과를 향상시키기 위해.
• 제안된 방법이 CIFAR-100 및 ImageNet을 포함한 다양한 아키텍처와 데이터셋에 일반화될 수 있음을 보여주기 위해.

제안 방법

• KDFM는 교사 및 학생 네트워크 간에 공유 분류기를 사용하여 훈련 중 특징 표현을 정렬한다.
• 학생은 생성기 역할을 하며, 교사의 특징 맵이 실제 데이터가 되는 생성적 적대적 네트워크(GAN) 프레임워크를 적용한다.
• GAN의 판별기는 실제 특징 맵(교사에서 유래)과 생성된 특징 맵(학생에서 유래)을 구별하도록 훈련되어, 학생이 더 현실적인 특징 맵을 생성하도록 유도한다.
• 손실 함수는 최종 출력 확률값(logits)에 대한 지식 정복 손실과 특징 맵에 대한 적대적 손실을 조합하여 일반화 성능을 향상시킨다.
• 이 방법은 깊고 얇은 네트워크보다 하드웨어 가속에 더 적합한 얕고 넓은 학생 네트워크(예: 4~8개의 합성곱 레이어)에 적용된다.
• 프레임워크는 다양한 교사 모델(DenseNet-40, DenseNet-100, CondenseNet-86, ResNet-152)과 학생 아키텍처(간단한 CNN, MobileNet)에서 평가되었다.

실험 결과

연구 질문

• RQ1 최종 출력 확률값(logits) 외에도 중간 특징 맵을 정복함으로써 학생 모델의 성능 향상이 유의미하게 향상되는가?
• RQ2 이미지 분류에서 교사와 학생 네트워크 간 특징 맵을 정렬하기 위해 GAN 기반 프레임워크를 사용하는 것이 얼마나 효과적인가?
• RQ3 간단하고 얕으며 넓은 학생 네트워크가 DenseNet-100과 같은 깊고 복잡한 교사 네트워크의 성능을 따라잡을 수 있는가?
• RQ4 공유 분류기와 특징 맵에 대한 적대적 훈련의 조합이 기존의 KD 방법보다 더 높은 정확도와 더 빠른 추론 속도를 제공하는가?
• RQ5 KDFM는 CIFAR-100 및 ImageNet을 포함한 다양한 데이터셋과 모델 아키텍처에 일반화될 수 있는가?

주요 결과

• DenseNet-40를 모방하는 4층의 CNN 학생 모델은 CIFAR-100에서 74.23%의 정확도를 달성했으며, 정확도 저하가 1% 미만이었고 추론 속도는 2배 빨랐다.
• DenseNet-100을 모방하도록 KDFM로 훈련된 MobileNet은 CIFAR-100에서 77.20%의 정확도를 기록했으며, 교사보다 0.74% 낮았고, 추론 속도는 6배 빠르고 모델 크기는 절반 이하였다.
• ImageNet 데이터셋에서 KDFM로 훈련된 MobileNet v2는 71.82%의 상위-1 정확도를 달성했으며, 표준 KD(70.16%)와 기본 모델(68.01%)을 모두 초월했다.
• 제거 실험 결과, 적대적 손실 성분을 제거하면 정확도가 71.32%로 떨어졌으며, 이는 특징 맵 정렬 향상에 적대적 손실의 중요성을 확인한다.
• 간단한 CNN(20.2M 또는 28.1M 파라미터)도 KDFM로 훈련된 결과 각각 74.36% 및 75.25%의 정확도를 기록했으며, KD 없이 기본 모델보다 뛰어난 성능을 보였다.
• 이 방법은 아키텍처 간 일반화가 가능했으며, KDFM로 훈련된 CondenseNet-86 학생 모델은 CIFAR-100에서 정확도가 74.13%에서 75.01%로 향상되었다.