[논문 리뷰] Improved Feature Distillation via Projector Ensemble

Yudong Chen, Sen Wang외 4명|arXiv (Cornell University)|2022. 10. 27.

Industrial Vision Systems and Defect Detection인용 수 14

한 줄 요약

이 논문은 지식 정련에서 특징 정련을 향상시키기 위해 프로젝터 앙상블 방법을 제안한다. 조건이 동일한 특징 차원을 가질 때조차도, 프로젝터는 교사의 특징 공간으로의 과적합을 줄이고 학생 성능을 향상시킴을 입증한다. 서로 다른 무작위 초기화를 가진 여러 프로젝터를 앙상블하여 특징 일반화를 향상시키며, ImageNet과 CIFAR-100에서 다양한 교사-학생 쌍에 대해 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

In knowledge distillation, previous feature distillation methods mainly focus on the design of loss functions and the selection of the distilled layers, while the effect of the feature projector between the student and the teacher remains under-explored. In this paper, we first discuss a plausible mechanism of the projector with empirical evidence and then propose a new feature distillation method based on a projector ensemble for further performance improvement. We observe that the student network benefits from a projector even if the feature dimensions of the student and the teacher are the same. Training a student backbone without a projector can be considered as a multi-task learning process, namely achieving discriminative feature extraction for classification and feature matching between the student and the teacher for distillation at the same time. We hypothesize and empirically verify that without a projector, the student network tends to overfit the teacher's feature distributions despite having different architecture and weights initialization. This leads to degradation on the quality of the student's deep features that are eventually used in classification. Adding a projector, on the other hand, disentangles the two learning tasks and helps the student network to focus better on the main feature extraction task while still being able to utilize teacher features as a guidance through the projector. Motivated by the positive effect of the projector in feature distillation, we propose an ensemble of projectors to further improve the quality of student features. Experimental results on different datasets with a series of teacher-student pairs illustrate the effectiveness of the proposed method.

연구 동기 및 목표

• 학생과 교사의 특징 차원이 동일한 상황에서도 특징 정련이 향상되는 이유를 탐구하여, 프로젝터가 차원 불일치가 있을 때에만 필요하다는 가정을 도전한다.
• 학생 네트워크가 동시에 분류 최적화와 교사와의 특징 매칭 최적화를 수행함에 따라 발생하는 과적합 문제를 해결한다.
• 다양한 특징 변환을 제공하는 프로젝터 앙상블을 도입하여 일반화 능력을 향상시키고 정련 성능을 향상시킨다.
• 복잡한 보조 네트워크를 추가하거나 훈련 비용을 크게 증가시키지 않고도 최신 기술 수준의 특징 정련 기법을 능가하는 단순하면서도 효과적인 방법을 개발한다.

제안 방법

• 학생과 교사의 특징 표현 사이에 프로젝터를 도입함으로써, 분류와 특징 매칭 목적을 분리한다. 이는 특징 차원이 동일한 경우에도 적용된다.
• 다양한 무작위 초기화를 가진 여러 프로젝터를 앙상블하여 다양한 변환된 특징을 생성하며, 앙상블 학습 원리를 활용해 안정성을 향상시킨다.
• 학생 네트워크는 분류를 위한 교차 엔트로피 손실과 특징 정련을 위한 방향 일치 손실을 조합한 손실 함수를 사용해 훈련된다.
• 방향 일치 손실은 투영 후 학생과 교사의 특징 간 각도 차이를 최소화하여, 동일한 차원이 필요 없이도 구조적 유사성을 촉진한다.
• 프레임워크는 즉시 사용이 가능하며, 학생 또는 교사 아키텍처를 수정할 필요 없이 프로젝터만 추가하면 된다.
• 이 방법은 ResNet, MobileNet, DenseNet 조합을 포함한 다양한 데이터셋과 교사-학생 쌍에서 평가되었다.

실험 결과

연구 질문

• RQ1 학생과 교사의 특징 차원이 동일한 상황에서 프로젝터를 추가함으로써 정련 성능이 향상되는 이유는 무엇인가?
• RQ2 프로젝터가 없을 경우 교사의 특징 분포로의 과적합은 어떻게 발생하며, 그 기작은 무엇인가?
• RQ3 다른 초기화를 가진 프로젝터 앙상블이 특징 일반화와 정련 성능을 추가로 향상시킬 수 있는가?
• RQ4 기존 최신 기술 수준의 특징 정련 방법과 비교했을 때, 제안된 프로젝터 앙상블의 성능과 효율성은 어떠한가?
• RQ5 프로젝터 앙상블에서 방향 일치 손실만을 사용할 경우, 계산 복잡도를 줄이면서도 높은 성능을 유지할 수 있는가?

주요 결과

• 제안된 방법은 다양한 교사-학생 쌍에서 ImageNet에서 최신 기술 수준의 정확도를 달성하며, CRD, SRRL, CID, AFD, KR 등의 방법을 능가한다.
• ResNet34-MobileNet 쌍에서 71.94%의 top-1 정확도를 기록하여, AFD(71.38%)와 KR(71.61%)를 초월한다.
• ResNet50-MobileNet 쌍에서는 73.16%의 top-1 정확도를 기록하여, KR의 72.56%와 AFD의 72.56%를 초월한다(비록 AFD 결과가 완전히 보고되지 않았지만, 추세는 일관된다).
• ImageNet에서의 훈련 곡선을 통해 다른 정련 방법보다 빠른 수렴을 보이며, 최적화 역학 향상을 시사한다.
• 여러 프로젝터를 사용함에도 불구하고, 훈련 시간(1 에포크당 2,995초)과 GPU 메모리 사용량(11,523 MB)이 KD와 SP와 유사하여 계산 오버헤드가 낮다.
• ResNet34, ResNet50, DenseNet201를 교사로 사용하는 다양한 아키텍처에서 일관되게 성능 향상을 보이며, 광범위한 적용 가능성을 입증한다.