[논문 리뷰] Distilling a Powerful Student Model via Online Knowledge Distillation

Shaojie Li, Mingbao Lin외 5명|arXiv (Cornell University)|2021. 03. 26.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다수의 학생 모델에서 특징을 융합하고 자기 자신에게 지식을 전달하는 방식을 통해 학생 모델 성능을 향상시키는 새로운 온라인 지식 정련 프레임워크인 FFSD를 제안한다. 리더 학생 아키텍처를 도입하고 특징 융합 및 다양성 향상 전략을 적용하여, 추론 비용을 증가시키지 않고 CIFAR-100과 ImageNet에서 최신 기준 성능을 달성한다.

ABSTRACT

Existing online knowledge distillation approaches either adopt the student with the best performance or construct an ensemble model for better holistic performance. However, the former strategy ignores other students' information, while the latter increases the computational complexity during deployment. In this paper, we propose a novel method for online knowledge distillation, termed FFSD, which comprises two key components: Feature Fusion and Self-Distillation, towards solving the above problems in a unified framework. Different from previous works, where all students are treated equally, the proposed FFSD splits them into a leader student and a common student set. Then, the feature fusion module converts the concatenation of feature maps from all common students into a fused feature map. The fused representation is used to assist the learning of the leader student. To enable the leader student to absorb more diverse information, we design an enhancement strategy to increase the diversity among students. Besides, a self-distillation module is adopted to convert the feature map of deeper layers into a shallower one. Then, the shallower layers are encouraged to mimic the transformed feature maps of the deeper layers, which helps the students to generalize better. After training, we simply adopt the leader student, which achieves superior performance, over the common students, without increasing the storage or inference cost. Extensive experiments on CIFAR-100 and ImageNet demonstrate the superiority of our FFSD over existing works. The code is available at https://github.com/SJLeo/FFSD.

연구 동기 및 목표

• 기존 온라인 지식 정련 방법이 대부분 학생 정보를 忽시하거나 배포 복잡도를 증가시키는 한계를 해결한다.
• 협업 학생 훈련에서 주의 분포 불일치와 지식 전이 한계 문제를 해결한다.
• 다수의 모델을 저장하거나 평가하지 않고도 단일 고성능 학생 모델을 선택하여 배포할 수 있도록 한다.
• 구조적 정련 메커니즘을 통해 훈련 중 학생 모델 간 일반화 능력과 특징 다양성을 향상시킨다.

제안 방법

• 공통 학생 집합과 리더 학생을 도입하여, 공통 학생들이 상호 학습을 통해 지식 공유를 유도한다.
• 모든 공통 학생의 특징 맵을 압축하고 융합하여 유의미한 압축 표현을 만드는 자동에코더처럼 작동하는 특징 융합 모듈을 설계한다.
• 융합된 특징 맵을 리더 학생에 정련하여 공통 학생 집합의 집단 지식을 기반으로 한 학습을 향상시킨다.
• 대부분의 특징 맵이 중복되지 않도록 표현 다양성을 증가시키는 전략을 적용하여, 특징 맵의 중복을 방지한다.
• 더 깊은 층의 특징 맵을 浅층으로 변환하는 자기 정련 모듈을 구현하여, 얕은 층이 이를 모방하도록 하고 주의 분포 일관성을 향상시킨다.
• 융합된 특징 맵과 자기 정련된 표현을 모두 사용하여 리더 학생을 훈련시켜 강력하고 일반화된 특징 학습을 보장한다.

(a) Traditional Knowledge Distillation

실험 결과

연구 질문

• RQ1 다수의 학생에서 정보를 효과적으로 활용하면서도 배포 비용을 증가시키지 않는 통합 프레임워크가 지식 정련 성능을 향상시킬 수 있는가?
• RQ2 다수의 학생 모델에서 특징 융합이 단일 리더 학생의 성능을 어떻게 향상시키는가?
• RQ3 자기 정련이 학생 모델의 주의 분포 일관성과 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 특징 융합과 자기 정련을 결합하면 기존 온라인 정련 방법보다 더 나은 성능을 낼 수 있는가?
• RQ5 제안된 방법은 낮은 추론 비용을 유지하면서도 최신 기준 정확도를 달성할 수 있는가?

주요 결과

• FFSD는 ResNet-32를 사용해 CIFAR-100에서 74.85%의 top-1 정확도를 달성하여, DML 및 ONE와 같은 기존 방법을 뛰어넘는다.
• 특징 융합 모듈을 제거하면 정확도가 74.06%로 떨어지며, 이는 지식 집약에서 핵심적인 역할을 한다는 것을 입증한다.
• 자기 정련은 주의 분포 일관성을 향상시킨다. 특히 중간 및 상위 레벨 활성화 간의 정렬이 향상된 시각화된 특징 맵을 통해 확인된다.
• 자기 정련과 특징 융합을 조합하면 74.85%의 정확도를 달성하며, 공통 학생들 또는 리더 학생에만 자기 정련을 적용한 경우(74.71% 또는 74.04%)보다 뛰어난 성능을 보인다.
• FFSD는 WRN-16-2를 사용해 CIFAR-100에서 75.81%의 정확도를 달성하여 더 큰 교사 모델을 사용한 AT(73.71%)를 뛰어넘지만, FLOPs와 훈련 시간이 더 적게 소요된다.
• FFSD의 훈련 시간은 CIFAR-100 기준 4.4시간으로, 특징 융합 및 자기 정련 구성 요소를 추가함에도 불구하고 다른 방법들과 유사한 수준을 유지한다.

(b) Mutual Learning