[논문 리뷰] FitNets: Hints for Thin Deep Nets

Adriana Romero, Nicolas Ballas외 4명|arXiv (Cornell University)|2014. 12. 19.

Advanced Neural Network Applications참고 문헌 27인용 수 2,032

한 줄 요약

이 논문은 교사 네트워크의 중간 힌트를 사용하여 더 깊고 더 얇은 학생 네트워크(FitNets)를 학습시킴으로써 지식 증류를 확장하고, 훨씬 적은 매개변수와 더 빠른 추론으로 높은 정확도를 달성한다.

ABSTRACT

While depth tends to improve network performances, it also makes gradient-based training more difficult since deeper networks tend to be more non-linear. The recently proposed knowledge distillation approach is aimed at obtaining small and fast-to-execute models, and it has shown that a student network could imitate the soft output of a larger teacher network or ensemble of networks. In this paper, we extend this idea to allow the training of a student that is deeper and thinner than the teacher, using not only the outputs but also the intermediate representations learned by the teacher as hints to improve the training process and final performance of the student. Because the student intermediate hidden layer will generally be smaller than the teacher's intermediate hidden layer, additional parameters are introduced to map the student hidden layer to the prediction of the teacher hidden layer. This allows one to train deeper students that can generalize better or run faster, a trade-off that is controlled by the chosen student capacity. For example, on CIFAR-10, a deep student network with almost 10.4 times less parameters outperforms a larger, state-of-the-art teacher network.

연구 동기 및 목표

• 메모리 및 계산 효율성을 위한 넓고 깊은 네트워크의 압축 필요성에 동기를 부여한다.
• 교사로부터 얻은 힌트를 이용해 얇고 깊은 학생 네트워크를 훈련시키는 방법을 제안한다.
• 훈련을 이끄는 데 중간 표현과 결합된 지식 증류를 활용한다.
• 표준 벤치마크에서 더 깊고 얇은 모델이 교사 성능과 일치하거나 이를 능가할 수 있음을 보여준다.
• 더 나은 최적화를 위한 실용적인 단계적 훈련 및 커리큘럼 학습 관점을 제시한다.

제안 방법

• 온도 매개변수 tau를 사용하여 교사의 부드럽게 된 출력치를 모사하는 학생의 지식 증류(KD)에 대한 검토.
• 차원이 다를 때 교사의 은닉층(힌트)이 학생의 대응 은닉층(가이드된 은닉층)을 리그래서에 의해 안내하는 힌트 기반 훈련을 도입한다.
• 학생의 가이드된 층을 교사 힌트 층으로 매핑하기 위해 합성곱 리그래서를 사용하여 파라미터 증가를 줄인다.
• 힌트를 사용해 가이드된 층까지 먼저 학습하고, 그다음 KD 손실로 전체 FitNet을 학습하는 단계적 훈련 절차를 설명한다.
• 표준 교차 엔트로피와 부드럽게 처리된 교사 출력 항을 결합한 손실 L_KD를 람다로 균형 맞춰 제시하고, L_HT는 교사 힌트와 학생 가이드 표현 간의 힌트 기반 매핑을 위한 손실이다.
• 교재 학습(Curriculum Learning)과의 관계를 논의하는데, 교사의 신뢰도가 커리큘럼 신호로 작용하고 훈련 중에 람다가 점차 감소한다.

실험 결과

연구 질문

• RQ1 중간 교사 표현을 힌트로 활용해 더 깊고 얇은 학생 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ2 힌트 기반 훈련과 KD가 표준 역전파 및 순수 KD보다 깊고 얇은 네트워크 훈련에서 더 나은가?
• RQ3 FitNets를 사용할 때 모델 깊이, 매개변수 수, 추론 효율성 간의 트레이드오프는 무엇인가?
• RQ4 교사 및 다른 압축 방법에 비해 FitNets가 표준 시각 벤치마크에서 얼마나 잘 일반화하는가?

주요 결과

• 깊고 얇은 학생 네트워크가 교사보다 적은 매개변수와 계산으로도 교사를 능가할 수 있다.
• 힌트 기반 훈련(HT)은 KD 단독보다 더 큰 깊이를 가진 네트워크의 학습을 가능하게 하여 일반화가 더 좋다.
• CIFAR-10에서 약 250K 매개변수를 가진 깊은 11-층 FitNet은 89.01%의 정확도를 달성하여 교사를 능가하고 상당한 속도 향상과 압축을 달성한다.
• 더 큰 FitNets(예: 11–19층)에서 CIFAR-10의 정확도는 약 2.5M 매개변수로 91.61%에 도달하여 교사(약 9M 매개변수) 대비 더 낮은 용량으로도 정확도에서 강한 개선을 보인다.
• CIFAR-100에서 FitNets는 다시 교사보다 우수한 성능을 보이며 매개변수 감소가 매우 크고(약 3배 감소) 경쟁력 있는 정확도를 보인다.
• SVHN에서 약 3만 ~ 150만 매개변수를 가진 FitNets는 교사에 비해 훨씬 적은 매개변수로도 경쟁력 있는 오차율에 도달한다.
• MNIST 테스트에서 HT와 KD를 합치면 상당한 이득이 나타나며, 12배 적은 매개변수로 교사보다 더 낮은 오분류율 0.51%를 달성하는 FitNet이 제시된다.
• AFLW 실험은 힌트가 더 얇은 아키텍처에서 눈에 띄는 개선을 제공하고, 여러 경우에서 KD보다 HT가 우수함을 시사한다.