[논문 리뷰] Understanding the Role of the Projector in Knowledge Distillation

Roy Miles, Krystian Mikolajczyk|arXiv (Cornell University)|2023. 03. 20.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 지식 정련에서 프로젝터를 비롯한 핵심 구성요소로 재고하며, 예시 간의 관계 정보를 암묵적으로 코딩하는 프로젝터의 역할을 규명함으로써 효과적인 학생 모델 훈련을 가능하게 한다. 선형 프로젝터, 배치 정규화, LogSum 거리 함수를 조합함으로써 이미지 분류, 객체 검출, 데이터 효율적인 트랜스포머 훈련에서 최신 기술 수준 또는 그 이상의 성능을 달성한다. 특히 DeiT-Ti를 사용해 ImageNet에서 77.2%의 Top-1 정확도를 기록하며 계산 및 메모리 비용을 크게 감소시켰다.

ABSTRACT

In this paper we revisit the efficacy of knowledge distillation as a function matching and metric learning problem. In doing so we verify three important design decisions, namely the normalisation, soft maximum function, and projection layers as key ingredients. We theoretically show that the projector implicitly encodes information on past examples, enabling relational gradients for the student. We then show that the normalisation of representations is tightly coupled with the training dynamics of this projector, which can have a large impact on the students performance. Finally, we show that a simple soft maximum function can be used to address any significant capacity gap problems. Experimental results on various benchmark datasets demonstrate that using these insights can lead to superior or comparable performance to state-of-the-art knowledge distillation techniques, despite being much more computationally efficient. In particular, we obtain these results across image classification (CIFAR100 and ImageNet), object detection (COCO2017), and on more difficult distillation objectives, such as training data efficient transformers, whereby we attain a 77.2% top-1 accuracy with DeiT-Ti on ImageNet. Code and models are publicly available.

연구 동기 및 목표

• 지식 정련에서 프로젝터의 이론적 및 실용적 역할을 단순한 특징 변환을 넘어서 이해하기 위해.
• 정규화와 거리 측정법이 프로젝터와 어떻게 상호작용하여 훈련 동역학과 모델 성능에 영향을 주는지 조사하기 위해.
• 비용이 많이 들거나 복잡한 관계 구조(예: 상관계수 행렬, 메모리 백업)를 피하는 계산 효율적인 정련 레시피 개발하기 위해.
• 이 방법이 이미지 분류, 객체 검출, 비전 트랜스포머의 데이터 효율적 훈련 등 다양한 작업에서 어떻게 평가되는지 조사하기 위해.
• 특히 고용량 격차 상황에서 복잡한 전용 정련 방법보다 단순한 아키텍처 선택이 더 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 방법은 교사 특징을 변환하기 전에 선형 투영층을 사용하고, 학생 특징에 대해 LogSum 거리 함수를 적용한다.
• 훈련 동역학의 안정성 향상과 일반화 성능 향상을 위해 투영된 특징에 배치 정규화를 적용한다.
• LogSum 거리 함수는 소프트 최대값의 미분 가능한 근사값으로 작용하며, 고용량 격차가 큰 작업에서 성능 향상에 기여한다.
• 프로젝터는 과거 예시로부터의 관계 기울기를 암묵적으로 캡처함으로써, 명시적 메모리 백업이나 상관계수 행렬이 필요 없도록 한다.
• 이 프레임워크는 이미지 분류(CIFAR100, ImageNet), 객체 검출(COCO2017), 비전 트랜스포머의 데이터 효율적 훈련에 종단 간(end-to-end)으로 적용된다.
• 이 방법은 추가 학습 가능한 레이어나 복잡한 스케줄링 없이도 즉시 적용 가능하며, 기존 훈련 파ip라인과 호환된다.

실험 결과

연구 질문

• RQ1 지식 정련 중 프로젝터가 훈련 도중 예시 간의 관계 정보를 어떻게 암묵적으로 코딩하는가?
• RQ2 정규화가 프로젝터와 결합될 때 훈련 동역학과 최종 성능에 어떤 영향을 미치는가?
• RQ3 간단한 LogSum 거리 함수가 교사와 학생 모델 간의 큰 용량 격차를 효과적으로 해소할 수 있는가?
• RQ4 선형 프로젝터, 배치 정규화, LogSum 손실의 최소 세트로 최신 기술 수준의 정련 방법과 비교해 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ5 이 정련된 지식은 교사에서 학생으로 이동할 때 명시적인 인도크티브 비스(예: 이동 불변성)를 유지하는가?

주요 결과

• 프로젝터는 과거 예시로부터의 관계 기울기를 암묵적으로 코딩함으로써, 명시적 메모리나 상관계수 행렬 없이도 효과적인 지식 전달을 가능하게 한다.
• 표현의 정규화는 프로젝터 훈련 동역학과 밀접하게 연결되어 있으며 학생 성능에 상당한 영향을 미친다.
• LogSum 거리 함수는 큰 용량 격차 문제를 효과적으로 해결하며, 도전적인 정련 작업에서 성능 향상에 기여한다.
• 제안된 방법은 DeiT-Ti를 사용해 ImageNet에서 77.2%의 Top-1 정확도를 달성하며, 데이터 효율적 훈련을 위한 전용 정련 방법을 능가한다.
• 비전 트랜스포머에서 이동 불변성 전이가 향상되었으며, 측정치는 0.04±0.02로 교사의 1.52±0.15보다 낮지만 공간적 인도크티브 비스의 강력한 유지 정도를 보여준다.
• COCO2017 객체 검출에서 32.92 mAP (50-95)와 52.96 AP50를 기록하며, FPGI를 능가하고 ReviewKD와 유사하거나 이를 초월함에도 불구하고 훨씬 단순하고 구현 비용이 낮다.