[논문 리뷰] Online Knowledge Distillation via Multi-branch Diversity Enhancement

Zheng Li, Ying Huang외 4명|arXiv (Cornell University)|2020. 10. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 4

한 줄 요약

이 논문은 특성 융합 모듈(FFM)과 분류기 다양화(CD) 손실을 통해 다수의 학생 모델 간의 다양성을 향상시키는 새로운 온라인 지식 정련 프레임워크를 제안한다. 여러 브랜치의 고수준 의미적 특성을 융합하고, 특성 학습을 직교적으로 강제화함으로써, 추가적인 추론 비용 없이 CIFAR-10/100 및 CINIC-10에서 최고 성능을 달성한다.

ABSTRACT

Knowledge distillation is an effective method to transfer the knowledge from the cumbersome teacher model to the lightweight student model. Online knowledge distillation uses the ensembled prediction results of multiple student models as soft targets to train each student model. However, the homogenization problem will lead to difficulty in further improving model performance. In this work, we propose a new distillation method to enhance the diversity among multiple student models. We introduce Feature Fusion Module (FFM), which improves the performance of the attention mechanism in the network by integrating rich semantic information contained in the last block of multiple student models. Furthermore, we use the Classifier Diversification(CD) loss function to strengthen the differences between the student models and deliver a better ensemble result. Extensive experiments proved that our method significantly enhances the diversity among student models and brings better distillation performance. We evaluate our method on three image classification datasets: CIFAR-10/100 and CINIC-10. The results show that our method achieves state-of-the-art performance on these datasets.

연구 동기 및 목표

• 다수의 학생 모델이 유사한 표현으로 수렴하여 정련 효과가 떨어지는 온라인 지식 정련에서의 동질화 문제를 해결하기 위해.
• 브랜치 간 특성 다양성을 향상시켜 앙상블 기반 학생 모델의 성능을 향상시키기 위해.
• 사전 훈련된 교사 모델이 필요 없이 높은 정확도를 유지하면서도 경량이고 효율적인 방법을 개발하기 위해.
• 최종 구현 모델로 그룹 리더만을 사용하여 이미지 분류 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 다양한 학생 모델의 마지막 블록에서 추출한 의미적 특성을 융합하여 주의 메커니즘 입력을 풍부하게 하는 특성 융합 모듈(FFM)을 도입한다.
• 학습된 특성 간의 직교성을 강제하여 학생 브랜치 간의 동질화를 줄이는 분류기 다양화(CD) 손실 함수를 적용한다.
• m-1개의 보조 브랜치와 하나의 그룹 리더로 구성된 이중 수준의 정련 프레임워크를 채택하며, 지식은 리더 모델에 정련되어 배포된다.
• 보조 브랜치의 앙상블 예측 결과를 그룹 리더 훈련을 위한 소프트 타겟으로 사용하며, FFM을 통해 다중 브랜치 특성 융합으로 주의 품질을 향상시킨다.
• 브랜치 간 특성 유사도를 방지하는 정규화 항으로서 CD 손실을 적용하여, 서로 다른 학습 패턴을 촉진한다.
• 다양성과 수렴 안정성을 고려하여 CD 손실의 하이퍼파rameter γ를 최적화한다.

실험 결과

연구 질문

• RQ1 다중 브랜치 특성 융합은 온라인 지식 정련에서 주의 메커니즘 성능을 향상시키는가?
• RQ2 학생 브랜치 간 직교 특성 학습을 강제하면 모델의 동질화가 감소하고 앙상블 정확도가 향상되는가?
• RQ3 제안된 방법은 추론 비용 증가 없이 이미지 분류 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 CD 손실은 하이퍼파rameter γ에 얼마나 민감한가? 어떤 범위에서 최적의 성능을 보장하는가?

주요 결과

• ResNet-32를 사용할 경우, 제안된 방법은 CIFAR-100에서 상위-1 오차율 24.84%를 기록하여 베이스라인 대비 1.68%p 향상되었다.
• ResNet-110 기반으로는 베이스라인 대비 2.13% 향상되었으며, 최고 성능 방법인 OKDDip 대비 0.35% 향상되었다.
• FFM와 CD 손실의 조합은 FFM만 사용한 경우 대비 상위-1 오차율을 0.56%p 감소시켜 두 구성 요소의 효과를 입증했다.
• CD 손실이 가장 영향력 있는 구성 요소로, 모든 백본 네트워크 및 데이터셋에서 성능 향상에 기여했다.
• γ 값의 다양한 범위에서도 안정적인 성능 유지를 보이며, 하이퍼파rameter 선택의 안정성을 입증했다.
• CINIC-10에서도 최고 성능을 기록하여, 다양한 데이터셋에 대한 일반화 능력을 확인했다.