[논문 리뷰] Students are the Best Teacher: Exit-Ensemble Distillation with Multi-Exits

Hojung Lee, Jong‐Seok Lee|arXiv (Cornell University)|2021. 04. 01.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 지식 정련에서 사전에 학습된 교사 모델이 필요하지 않은 동적이고 자기지도형 교사 앙상블을 사용하는 지식 정련 방법인 Exit-Ensemble Distillation (EED)을 제안한다. 이 방법은 컨volutional 신경망(CNN)의 중간층에 다수의 보조 분류기(출구)를 도입하여, 출구들이 상호로 지도하는 이중 방향 지식 전이를 가능하게 하여 분류 성능을 향상시킨다. 이중 방향 지식 전이에서는 출구가 메인 네트워크를 지도하고, 메인 네트워크도 출구들을 지도하는 방식으로 작용한다. 이로 인해 다양한 아키텍처에서 최신 기준 성능을 달성하며, 수렴 속도가 빠르고 특징 학습이 향상된다.

ABSTRACT

This paper proposes a novel knowledge distillation-based learning method to improve the classification performance of convolutional neural networks (CNNs) without a pre-trained teacher network, called exit-ensemble distillation. Our method exploits the multi-exit architecture that adds auxiliary classifiers (called exits) in the middle of a conventional CNN, through which early inference results can be obtained. The idea of our method is to train the network using the ensemble of the exits as the distillation target, which greatly improves the classification performance of the overall network. Our method suggests a new paradigm of knowledge distillation; unlike the conventional notion of distillation where teachers only teach students, we show that students can also help other students and even the teacher to learn better. Experimental results demonstrate that our method achieves significant improvement of classification performance on various popular CNN architectures (VGG, ResNet, ResNeXt, WideResNet, etc.). Furthermore, the proposed method can expedite the convergence of learning with improved stability. Our code will be available on Github.

연구 동기 및 목표

• 지식 정련에서 사전에 학습된 교사 모델에 대한 의존도를 제거하는 것.
• 기존의 CNN 아키텍처(예: VGG, ResNet)의 분류 정확도를 향상시키기 위해 새로운 정련 기반을 제안하는 것.
• 다중 출구 아키텍처에서 보조 출구가 자기 정련 프레임워크에서 학습자와 교사의 역할을 모두 수행할 수 있는지 탐구하는 것.
• 앙상블 다양성과 신호 품질이 정련 성능에 미치는 영향을 분석하는 것.
• 기본 교차 엔트로피 학습과 비교했을 때 제안된 학습 과정의 안정성과 수렴 속도를 평가하는 것.

제안 방법

• 중간층에 보조 분류기(출구)를 삽입한 다중 출구 CNN 아키텍처를 도입한다.
• 모든 출구와 최종 출력의 앙상블을 동적이고 자동 생성되는 교사 신호로 사용하여 정련을 수행한다.
• 각 출구와 앙상블 타깃 간, 그리고 메인 네트워크와 앙상블 간에 지식 정련 손실을 적용한다.
• 표준 교차 엔트로피 손실을 모든 출구와 메인 네트워크에 적용하고, 앙상블의 부드러운 레이블을 사용한 정련 손실을 추가로 적용하는 복합 손실 함수를 사용한다.
• 각 출구와 메인 네트워크를 이중 방향 정련 루프에서 동시에 학습자와 교사로 간주한다.
• 정련 손실에서 온도 스케일링을 적용하여 로짓을 부드럽게 하고 지식 전이를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 출구 CNN에서 출구의 자기지도형 앙상블이 사전에 학습된 모델이 없더라도 효과적인 교사로 기능할 수 있는가?
• RQ2 출구가 메인 네트워크를 지도하고, 메인 네트워크도 출구들을 지도하는 이중 방향 지식 정련이 단방향 정련보다 분류 정확도를 향상시키는가?
• RQ3 앙상블 교사 신호의 다양성과 품질이 성능 향상에 어떤 영향을 미치는가?
• RQ4 EED는 특히 클래스별 표현 측면에서 특징 학습을 얼마나 향상시키는가?
• RQ5 기본 교차 엔트로피 학습과 비교했을 때 제안된 방법이 학습을 안정화하고 수렴 속도를 높이는가?

주요 결과

• EED는 VGG, ResNet, ResNeXt, WideResNet 등 다양한 아키텍처에서 CIFAR-100과 ImageNet에서 최신 기준 정확도를 달성하며 이전의 정련 방법을 능가한다.
• 학습 중에 출구의 앙상블은 메인 네트워크 단독보다 일관되게 더 높은 정확도를 기록하여 교사 신호의 효과성을 입증한다.
• EED로 학습된 메인 네트워크는 블록 대각형 패턴이 나타나는 표현 비유사도 행렬을 통해 더 명확하고 구분력 있는 클래스별 표현을 학습한다.
• EED는 학습을 크게 안정화시켜 기존 교차 엔트로피 학습에서 관찰된 성능 변동을 줄이며, 수렴 속도를 빠르게 한다.
• 클래스 내에서는 표현 간 상관계수가 높고, 클래스 간에는 상관계수가 낮아지는 특징 표현을 장려함으로써 일반화 성능을 향상시킨다.
• 메인 네트워크를 앙상블 교사에 포함시키는 것이 핵심이다. 이를 생략할 경우 성능 향상이 미미하여, 신호 품질이 다양성과 동등하게 중요하다는 것을 보여준다.