[논문 리뷰] Class Attention Transfer Based Knowledge Distillation

Ziyao Guo, Haonan Yan외 2명|arXiv (Cornell University)|2023. 04. 25.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 학생 네트워크 성능을 향상시키기 위해 교사 모델에서 학생 모델로 클래스 활성화 맵(CAMs)을 전달하는 새로운 지식 증류 방법인 클래스 주의 전달 기반 지식 증류(CAT-KD)를 제안한다. 판별적인 이미지 영역을 강조하는 해석 가능한 클래스별 주의 맵에 초점을 맞추어 전달함으로써, CAT-KD는 이미지 인식 및 분류 과정에서 특징 중요도를 명시적으로 모델링함으로써 해석성이 높으면서도 ImageNet 및 CIFAR 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Previous knowledge distillation methods have shown their impressive performance on model compression tasks, however, it is hard to explain how the knowledge they transferred helps to improve the performance of the student network. In this work, we focus on proposing a knowledge distillation method that has both high interpretability and competitive performance. We first revisit the structure of mainstream CNN models and reveal that possessing the capacity of identifying class discriminative regions of input is critical for CNN to perform classification. Furthermore, we demonstrate that this capacity can be obtained and enhanced by transferring class activation maps. Based on our findings, we propose class attention transfer based knowledge distillation (CAT-KD). Different from previous KD methods, we explore and present several properties of the knowledge transferred by our method, which not only improve the interpretability of CAT-KD but also contribute to a better understanding of CNN. While having high interpretability, CAT-KD achieves state-of-the-art performance on multiple benchmarks. Code is available at: https://github.com/GzyAftermath/CAT-KD.

연구 동기 및 목표

• 기존 지식 증류 방법, 특히 출력 로짓과 특징 기반 방법에서의 해석성 부족 문제를 해결하기 위해.
• 클래스 활성화 맵(CAMs)을 전달하는 것이 학생 모델 성능 향상과 CNN 분류 메커니즘 이해에 기여할 수 있는지 조사하기 위해.
• 높은 해석성과 함께 최신 기술 수준의 성능을 달성하는 지식 증류 프레임워크를 개발하기 위해.
• 클래스별 판별 영역을 식별할 수 있는 능력이 CNN 분류에 핵심적이며, 이를 CAM 전달을 통해 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 추론 중에 클래스 활성화 맵(CAMs)을 엔드 투 엔드로 생성할 수 있도록 CNN의 최종 완전 연결 계층을 1×1 컨볼루션 계층으로 변환한다.
• 훈련 중에 교사 네트워크의 CAMs를 추출하여, 입력 이미지의 각 클래스 예측에 가장 관련성이 높은 공간 영역을 나타내도록 한다.
• CAMs를 정규화하여 클래스 예측 점수를 제거하고 오직 공간적 주의 신호만 유지함으로써, 학생이 판별 영역에 집중하도록 유도한다.
• 자신의 CAMs와 교사의 정규화된 CAMs 간의 L2 손실을 최소화하여 훈련함으로써, 주의 패턴의 일치를 장려한다.
• 최종 분류 점수를 생성하기 위해 학생의 CAMs에 대해 글로벌 평균 풀링을 적용하여 표준 분류 파ip라인과의 호환성을 유지한다.
• 출력 로짓이나 특징 맵이 아닌 공간적 주의 일관성에 중점을 둔 증류 손실을 도입함으로써, 해석성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 클래스 활성화 맵(CAMs)을 전달하는 것이 지식 증류에서 학생 네트워크 성능 향상에 기여할 수 있는가?
• RQ2 클래스별 판별 영역을 식별할 수 있는 능력은 CNN 분류에서 어떤 역할을 하는가? 이 능력은 지식 전달을 통해 향상시킬 수 있는가?
• RQ3 CAM 기반 증류의 해석성은 기존의 로짓 또는 특징 기반 증류와 비교해 어떻게 다른가?
• RQ4 교사 네트워크의 정확도가 CAM 전달을 사용할 때 학생의 성능에 직접적인 영향을 미치는가?
• RQ5 CAT-KD는 데이터 효율성, 훈련 비용, 타지기반 지식 증류 방법 대비 이식 가능성 측면에서 어떻게 비교되는가?

주요 결과

• ResNet50을 교사로, MobileNet을 학생으로 사용할 때, ImageNet에서 최신 기술 수준의 상위 1위 정확도 72.24%를 달성하며 비교된 모든 방법을 능가한다.
• CIFAR-100에서 CAT-KD는 훈련 데이터의 20%만으로도 높은 성능를 유지하여, 다른 KD 방법에 비해 뛰어난 데이터 효율성을 보였다.
• 이식 가능성 평가에서 CAT-KD는 선형 프로빙 정확도가 가장 높았으며, STL-10에서 74.43%, Tiny-ImageNet에서 40.73%를 기록하여 매우 일반화 능력이 뛰어난 지식 전달을 보였다.
• 데이터 부족 상황에서도 성능 저하가 최소화되었으며, 훈련 데이터를 20%로 줄였을 때 정확도가 단지 1.5% 감소하여 기준 방법보다 뛰어난 성능를 보였다.
• CAT-KD는 가장 높은 훈련 효율성을 보였으며, 로짓 기반 방법과 거의 동일한 계산 비용을 요구하고, 보조 네트워크가 필요한 특징 기반 방법보다는 크게 낮은 비용을 차지했다.
• 교사 모델이 약한 경우 CAT-KD의 성능가 저하됨을 확인하여, 전달된 CAMs의 품질이 학생 성능에 직접적인 영향을 미친다는 것을 입증했다.