[논문 리뷰] Understanding and Improving Knowledge Distillation

Jiaxi Tang, Rakesh Shivanna외 5명|arXiv (Cornell University)|2020. 02. 10.

Machine Learning and Data Classification참고 문헌 39인용 수 89

한 줄 요약

이 논문은 지식 증류(KD)를 세 가지 계층적 효과—범용 라벨 스무딩, 클래스 관계의 도메인 지식, 그리고 인스턴스별 그래디언트 재스케일링—으로 분해하고, 각 효과를 분리하여 검증하기 위한 부분 KD 방법을 도입하며, 합성 및 실제 데이터셋에 대한 광범위한 실증 검증을 제공합니다.

ABSTRACT

Knowledge Distillation (KD) is a model-agnostic technique to improve model quality while having a fixed capacity budget. It is a commonly used technique for model compression, where a larger capacity teacher model with better quality is used to train a more compact student model with better inference efficiency. Through distillation, one hopes to benefit from student's compactness, without sacrificing too much on model quality. Despite the large success of knowledge distillation, better understanding of how it benefits student model's training dynamics remains under-explored. In this paper, we categorize teacher's knowledge into three hierarchical levels and study its effects on knowledge distillation: (1) knowledge of the `universe', where KD brings a regularization effect through label smoothing; (2) domain knowledge, where teacher injects class relationships prior to student's logit layer geometry; and (3) instance specific knowledge, where teacher rescales student model's per-instance gradients based on its measurement on the event difficulty. Using systematic analyses and extensive empirical studies on both synthetic and real-world datasets, we confirm that the aforementioned three factors play a major role in knowledge distillation. Furthermore, based on our findings, we diagnose some of the failure cases of applying KD from recent studies.

연구 동기 및 목표

• KD를 세 가지 지식 소스: 범용 라벨 스무딩, 도메인 클래스 관계 priors, 그리고 인스턴스별 그래디언트 재스케일링으로 분해한다.
• 이러한 효과가 학생 학습 및 일반화 성능을 어떻게 개선하는지 이론적 분석을 제공한다.
• 각 효과를 분리하고 검증하기 위한 부분 KD 기법을 제안한다.
• 합성 및 실제 데이터셋에서 효과를 실증적으로 검증하고 KD 실패 사례를 진단한다.

제안 방법

• KD를 라벨 스무딩 및 그래디언트 재스케일링과 연결하는 이론적 분석과 KD 그래디언트에 대한 명시적 방정식.
• 그래디언트 재스케일링 및 클래스 관계 priors를 분리하기 위한 부분 KD 방법(KD-pt 및 KD-sim)을 도입한다.
• 부분 효과를 모의하기 위한 합성 교사 분포를 개발하고 학습 다이내믹에 미치는 영향을 테스트한다.
• CIFAR-100, ImageNet, PTB에서 LS, KD 및 부분 KD 변형을 비교하는 실증 평가.
• 클래스 상관관계 및 top-k 확률 보존(KD-topk)이 증류 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 KD가 표준 라벨 스무딩을 넘어 학생 학습을 개선하는 뚜렷한 메커니즘은 무엇인가?
• RQ2 범용, 도메인, 인스턴스지향 지식이 KD의 효과에 어떻게 기여하는가?
• RQ3 부분 KD 방법으로 각 KD 구성요소를 분리하고 검증할 수 있는가?
• RQ4 어떤 데이터 조건에서 KD 구성요소가 가장 큰 이점을 제공하거나 실패를 야기하는가?

주요 결과

• KD의 이점은 세 가지 수준의 지식에서 비롯된다: 규제 효과(레이블 스무딩), 도메인 지식(클래스 관계가 로짓 기하학을 형성), 그리고 교사 신뢰도에 기반한 인스턴스별 그래디언트 재스케일링.
• 부분 KD 방법(KD-pt 및 KD-sim)은 이러한 효과를 분리할 수 있으며, 결합한 경우(KD-pt+sim)는 일부 데이터셋에서 표준 KD 성능에 근접하거나 이를 넘어설 수 있다.
• 합성 데이터에서 클래스가 서로 독립적일 때는 KD-pt가 우세하고, 클래스 상관관계가 증가할수록 KD-sim이 가치를 더한다; 이들을 결합하면 추가 이익이 발생한다.
• CIFAR-100 및 ImageNet에서 KD는 일반적으로 LS를 넘어 학생 성능을 개선하며, KD-topk은 가장 정보가 많은 클래스 관계만 보존하고 노이즈를 감소시켜 추가 이익을 제공하는 경우가 많다.
• 이 연구는 LS가 클래스 관계 정보 손실과 잘못된 ground-truth 분포로 인해 KD를 저해할 수 있는 시나리오를 식별하고 KD 실패에 대한 진단 가이드를 제공한다.