[논문 리뷰] Ensemble Knowledge Distillation for Learning Improved and Efficient Networks

Umar Asif, Jianbin Tang외 1명|arXiv (Cornell University)|2019. 09. 17.

Advanced Neural Network Applications인용 수 27

한 줄 요약

이 논문은 여러 고용량 교사 네트워크로부터 지식을 흡수하여 다수의 브랜치로 구성된 작고 효율적인 학생 CNN을 훈련하는 프레임워크인 앙상블 지식 정련(EKD)을 제안한다. 앙상블 정련을 통해 다양한 특징 표현을 활용하고 브랜치 출력을 앙상블하여 일반화 능력과 정확도를 향상시킨다. 이는 CIFAR-10에서 3배 적은 파라미터와 2.8배 적은 FLOPS를 사용함에도 불구하고 ResNet110보다 89.66%의 top-1 정확도를 달성하며, 훈련 데이터가 제한된 조건에서도 성능을 발휘한다.

ABSTRACT

Ensemble models comprising of deep Convolutional Neural Networks (CNN) have shown significant improvements in model generalization but at the cost of large computation and memory requirements. In this paper, we present a framework for learning compact CNN models with improved classification performance and model generalization. For this, we propose a CNN architecture of a compact student model with parallel branches which are trained using ground truth labels and information from high capacity teacher networks in an ensemble learning fashion. Our framework provides two main benefits: i) Distilling knowledge from different teachers into the student network promotes heterogeneity in feature learning at different branches of the student network and enables the network to learn diverse solutions to the target problem. ii) Coupling the branches of the student network through ensembling encourages collaboration and improves the quality of the final predictions by reducing variance in the network outputs. Experiments on the well established CIFAR-10 and CIFAR-100 datasets show that our Ensemble Knowledge Distillation (EKD) improves classification accuracy and model generalization especially in situations with limited training data. Experiments also show that our EKD based compact networks outperform in terms of mean accuracy on the test datasets compared to state-of-the-art knowledge distillation based methods.

연구 동기 및 목표

• 학습 데이터가 제한된 환경에서 추론 비용을 증가시키지 않고도 작고 효율적인 CNN의 일반화 능력과 정확도를 향상시키는 것.
• 자원이 제한된 환경에서 깊은 앙상블 모델의 높은 계산 및 메모리 요구량을 해결하는 것.
• 다양한 이질적인 교사 네트워크로부터의 정련을 통해 작고 효율적인 학생 네트워크가 다양한 고수준 특징 표현을 학습할 수 있도록 하는 것.
• 학생 네트워크 내 정련된 브랜치들을 앙상블하여 출력 분산을 줄이고 예측 품질을 향상시키는 것.
• 지표 레이블 정렬과 다수의 교사로부터의 특징 모방을 동시에 최적화하는 훈련 목표를 개발하는 것.

제안 방법

• 각 브랜치가 서로 다른 고용량 교사 네트워크로부터 지식 정련을 통해 학습하는 다중 브랜치 학생 CNN 아키텍처를 제안한다.
• 지표 레이블에 대한 교차 엔트로피 손실과 교사 및 학생의 특징 맵 간의 정련 손실을 동시에 최소화하는 새로운 훈련 목표를 적용한다.
• 추론 시 브랜치 예측의 앙상블 평균을 사용하여 출력 분산을 줄이고 정확도를 향상시킨다.
• 각 학생 브랜치를 서로 다른 교사 출력으로 훈련시켜 특징 학습의 이질성을 도입함으로써 다양성을 확보한다.
• 교사 네트워크의 소프트 레이블을 사용한 지식 정련을 적용하며, 특징 전달을 향상시키기 위해 온도 스케일링을 적용한다.
• 공정한 비교를 위해 학생 모델로 ResNet 기반 아키텍처(예: ResNet8)를 사용하고, 교사로 더 깊은 ResNets(예: ResNet110)를 사용한다.

실험 결과

연구 질문

• RQ1 여러 다양성 있는 교사 네트워크로부터의 지식 정련이 작고 효율적인 학생 네트워크의 일반화 능력과 정확도를 향상시킬 수 있는가?
• RQ2 학생 네트워크 내 병렬 브랜치의 정련된 출력을 앙상블함으로써 예측 분산을 줄이고 최종 정확도를 향상시킬 수 있는가?
• RQ3 표준 지식 정련(KD) 및 정련되지 않은 모델과 비교해 EKD는 훈련 데이터가 제한된 조건에서 어떻게 성능을 발휘하는가?
• RQ4 대규모 앙상블 모델에 비해 모델 크기와 FLOPS를 크게 줄였을 때 EKD는 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ5 여러 교사로부터의 정련이 학습된 특징 임베딩에서 클래스 간 분리도를 얼마나 향상시키는가?

주요 결과

• 7브랜치로 구성된 EKD 기반 ResNet8는 CIFAR-10에서 89.66%의 top-1 정확도를 달성하여, TAKD(88.01%)와 MUTUAL(87.71%)을 포함한 모든 비교된 KD 방법을 앞서며 성능을 뛰어넘었다.
• 훈련 데이터의 10%만을 사용할 경우, EKD 기반 ResNet8는 파라미터 수가 3배 적고 FLOPS가 2.8배 적은 ResNet110보다도 뛰어난 정확도를 확보했다.
• t-SNE 시각화 결과, EKD 모델은 정련되지 않은 모델보다 특히 훈련 데이터가 적은 조건에서 더 잘 분리된 클래스 임베딩을 생성하는 것으로 나타났다.
• 절단 실험을 통해 다중 교사 정련과 브랜치 앙상블이 성능 향상에 기여하며, 두 요소의 조합이 가장 우수한 성능을 내는 것으로 확인되었다.
• 제안된 훈련 목표는 레이블 정렬과 특징 모방을 효과적으로 균형 잡아, 학생 네트워크가 다수의 교사로부터 다양한 분류 가능한 표현을 학습할 수 있도록 했다.
• 이 프레임워크는 추론 비용을 낮게 유지하면서도 일반화 능력을 크게 향상시켜, 엣지 및 모바일 애플리케이션에 적합한 솔루션을 제공한다.