[논문 리뷰] MSD: Multi-Self-Distillation Learning via Multi-classifiers within Deep Neural Networks

Yunteng Luan, Hanyu Zhao외 2명|arXiv (Cornell University)|2019. 11. 21.

Anomaly Detection Techniques and Applications참고 문헌 16인용 수 17

한 줄 요약

이 논문은 다중 분류기 네트워크에서 지식 희석을 통해 상호 학습할 수 있도록 하는 Multi-Self-Distillation (MSD) 틀을 제안한다. 세 가지 손실 함수(감독 학습, 예측 모방, 특징 모방)를 적용함으로써, MSDNet과 같은 다중 분류기 네트워크뿐 아니라 ResNet과 같은 단일 분류기 네트워크에 조기 분류기 브랜치를 추가한 경우에도 성능을 향상시키며, 첫 번째 분류기에서 최대 8.5%의 정확도 향상을 기록하고 모든 분류기 평균 1% 이상의 향상을 달성한다.

ABSTRACT

As the development of neural networks, more and more deep neural networks are adopted in various tasks, such as image classification. However, as the huge computational overhead, these networks could not be applied on mobile devices or other low latency scenes. To address this dilemma, multi-classifier convolutional network is proposed to allow faster inference via early classifiers with the corresponding classifiers. These networks utilize sophisticated designing to increase the early classifier accuracy. However, naively training the multi-classifier network could hurt the performance (accuracy) of deep neural networks as early classifiers throughout interfere with the feature generation process. In this paper, we propose a general training framework named multi-self-distillation learning (MSD), which mining knowledge of different classifiers within the same network and increase every classifier accuracy. Our approach can be applied not only to multi-classifier networks, but also modern CNNs (e.g., ResNet Series) augmented with additional side branch classifiers. We use sampling-based branch augmentation technique to transform a single-classifier network into a multi-classifier network. This reduces the gap of capacity between different classifiers, and improves the effectiveness of applying MSD. Our experiments show that MSD improves the accuracy of various networks: enhancing the accuracy of every classifier significantly for existing multi-classifier network (MSDNet), improving vanilla single-classifier networks with internal classifiers with high accuracy, while also improving the final accuracy.

연구 동기 및 목표

• 조기 분류기가 특징 학습에 간섭하여 다중 분류기 네트워크에서 성능 저하가 발생하는 문제를 해결하기 위해.
• 외부 학생 모델이 필요 없이 단일 네트워크 내부의 다중 분류기 간 지식 전이를 가능하게 하기 위해.
• 특히 자원 제약이 있는 추론 환경에서 조기 및 최종 분류기의 정확도를 향상시키기 위해.
• 샘플 기반 분기 증강 기법을 사용해 단일 분류기 네트워크를 효과적인 다중 분류기 네트워크로 확장하기 위해.

제안 방법

• 모든 분류기가 학생 모델이 되는 다중 자기 희석(MSD) 프레임워크를 도입하여 지식 희석을 통해 상호 학습하도록 한다.
• 각 분류기를 세 가지 손실 함수로 훈련: 교차 엔트로피(감독 학습), 예측 모방(분류기 간 클래스 사후확률 정렬), 특징 모방(가장 깊은 분류기의 특징 맵 정렬).
• 이질적인 분류기(얕은 및 깊은) 간의 특징을 정렬하기 위해 특징 모방 손실을 적용하여 지식 전이를 촉진하고 깊은 네트워크에 대한 편향을 줄인다.
• 전략적 그룹 경계에서 샘플 기반 분기 증강 방법을 사용해 단일 분류기 네트워크에 조기 분류기 브랜치를 삽입하여 용량 균형을 유지한다.
• 모든 조기 분류기 브랜치에서 네트워크가 종료될 수 있도록 동적 추론을 보장하여 쉽게 추론 가능한 샘플에 대해 더 빠른 추론을 가능하게 한다.
• 기존 네트워크 아키텍처와 학습 초모수를 유지하며, MSD를 플러그인 방식의 학습 전략으로 적용한다.

실험 결과

연구 질문

• RQ1 내부 분류기 간 지식 희석이 다중 분류기 네트워크의 모든 단계에서 정확도 향상에 기여하는가?
• RQ2 분류기 간 협업 학습이 간섭을 줄이고 특징 표현 품질을 향상시키는가?
• RQ3 MSD가 단일 분류기 네트워크에 효과적으로 적용되어 고정확도 다중 분류기 추론 경로를 생성할 수 있는가?
• RQ4 정확도 및 학습 효율성 측면에서 전통적 자기 희석 및 공동 훈련과 비교해 MSD는 어떻게 성능을 내는가?
• RQ5 특징 모방 및 예측 모방 손실이 분류기 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• MSDNet에서 CIFAR100에서 모든 분류기의 평균 정확도가 1% 이상 향상되었으며, 첫 번째 분류기의 경우 공동 훈련 대비 최대 1.73% 향상되었다.
• ResNet18에서 MSD를 적용한 첫 번째 분류기의 정확도는 78.93%로, 단순 훈련 대비 1.84% 향상되었고, 자기 희석 대비 1.08% 향상되었다.
• WRN20-8에서 MSD를 적용한 첫 번째 분류기의 정확도는 자기 희석 대비 8.5% 향상되었으며, 조기 헤드에서 강력한 성능 향상을 보였다.
• 모든 테스트된 네트워크(ResNet18, ResNet50 등)에서 최종 분류기의 정확도는 자기 희석 대비 평균 1% 향상되었고, 단순 훈련 대비 3.2% 향상되었다.
• 첫 번째 분류기와 최종 분류기 간 정확도 격차가 크게 감소하여 지식 전이가 향상되고 성능이 균형 잡힌 것으로 나타났다.
• MSD는 학습 비용 증가 없이도 이러한 성과를 달성하였으며, 외부 모델이 필요 없어 플러그인 방식의 학습 향상 전략으로 매우 효과적이다.