[논문 리뷰] Knowledge Distillation Based on Transformed Teacher Matching

Kaixiang Zheng, En‐hui Yang|arXiv (Cornell University)|2024. 02. 17.

Educational Technology and Assessment인용 수 4

한 줄 요약

이 논문은 온도 스케일링을 학생 네트워크에서 제거함으로써 일반화 성능을 향상시키는 변환된 교사 매칭(Transformer Teacher Matching, TTM)을 제안한다. 이는 자연스럽게 레니 지수 엔트로피 정규화를 포함하며, 더 나아가 표본 적응형 버전인 가중치 TTM(WTTM)을 도입하여 매칭 정확도를 향상시킨다. 이는 ResNet-34에서 ResNet-18를 학습시킬 때 ImageNet에서 최상위 성능인 72.19%의 top-1 정확도를 달성한다.

ABSTRACT

As a technique to bridge logit matching and probability distribution matching, temperature scaling plays a pivotal role in knowledge distillation (KD). Conventionally, temperature scaling is applied to both teacher's logits and student's logits in KD. Motivated by some recent works, in this paper, we drop instead temperature scaling on the student side, and systematically study the resulting variant of KD, dubbed transformed teacher matching (TTM). By reinterpreting temperature scaling as a power transform of probability distribution, we show that in comparison with the original KD, TTM has an inherent Rényi entropy term in its objective function, which serves as an extra regularization term. Extensive experiment results demonstrate that thanks to this inherent regularization, TTM leads to trained students with better generalization than the original KD. To further enhance student's capability to match teacher's power transformed probability distribution, we introduce a sample-adaptive weighting coefficient into TTM, yielding a novel distillation approach dubbed weighted TTM (WTTM). It is shown, by comprehensive experiments, that although WTTM is simple, it is effective, improves upon TTM, and achieves state-of-the-art accuracy performance. Our source code is available at https://github.com/zkxufo/TTM.

연구 동기 및 목표

• 지식 정련에서 온도 스케일링을 교사와 학생 양쪽에 적용해야 하는지 여부를 조사하는 것.
• 학생 네트워크에서 온도 스케일링을 제거할 경우의 이론적 및 실험적 영향을 이해하는 것.
• 내재된 정규화를 통해 일반화와 매칭 정확도를 향상시키는 더 효과적인 정련 방법을 개발하는 것.
• 교사-학생 확률 분포 매칭을 향상시키기 위한 표본 적응형 가중치 기반 메커니즘을 제안하는 것.

제안 방법

• TTM은 학생의 로짓에서 온도 스케일링을 제거하여 지식 정련을 재구성하며, 온도가 조정된 교사 출력과 비정규화된 학생 출력 간의 교차 엔트로피 손실과 KL 발산을 최소화한다.
• 이 방법은 온도 스케일링을 확률 분포의 거듭제곱 변환으로 재해석함으로써, TTM이 목적 함수에 자연스럽게 레니 지수 엔트로피 정규화를 포함하고 있음을 드러낸다.
• WTTM은 표본 적응형 가중치 계수 $ U_{1/T}(p^t) $ 를 도입하여, 교사의 확률 분포에 대한 影향을 그 신뢰도와 온도에 따라 동적으로 조정한다.
• TTM의 균형 가중치 $ \beta $ 는 표준 KD와 동일한 상대적 손실 비율을 유지하도록 설정되어 있어 공정한 비교를 보장한다.
• 이론적 분석은 학생에서 온도 스케일링을 제거함으로써 일반화 성능을 향상시키는 정규화 효과가 유도됨을 보여준다.
• WTTM는 표준 KD와 유사한 계산 복잡도를 유지하면서도 표본 적응형 매칭을 통해 성능을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 온도 스케일링을 교사에만 적용하고 학생에는 적용하지 않을 경우, 지식 정련에서 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 이 변종의 성능 향상 배경에 있는 이론적 메커니즘은 무엇이며, 표준 KD와 어떻게 다를까?
• RQ3 표본 적응형 가중치 전략이 교사-학생 확률 분포 매칭을 더욱 향상시킬 수 있는가?
• RQ4 TTM에 내재된 레니 지수 엔트로피 정규화는 학생 예측의 매끄럽기와 일반화에 어떤 영향을 미치는가?

주요 결과

• TTM은 학생에서 온도 스케일링을 제거함으로써 유도되는 자연스러운 레니 지수 엔트로피 정규화 덕분에 표준 KD보다 더 나은 일반화 성능을 달성한다.
• TTM로 훈련된 학생은 출력 분포의 평균 샤논 엔트로피가 상당히 높게 나타나, 더 매끄럽고 강건한 예측을 함을 시사한다.
• WTTM는 KD와 TTM를 모두 능가하며, ResNet-34에서 ResNet-18를 학습시킬 때 ImageNet에서 72.19%의 top-1 정확도를 기록하여 대부분의 복잡한 특징 기반 정련 방법을 뛰어넘는다.
• 교차 엔트로피 손실 없이도 WTTM는 동일한 손실 조건에서 KD를 능가함을 보여, 강력한 내재된 유도력과 강인함을 입증한다.
• 교사 모델이 향상될수록 WTTM 하에서 학생의 성능은 일관되게 증가하며 다른 방법을 뛰어넘어 강력한 확장성 잠재력을 보여준다.
• WTTM에서 평균 KL 발산 $ D(p^t_T || q) $ 는 TTM보다 더 빠르게 감소하고 더 낮은 값에 도달함을 확인하여, 더 정확한 변환된 교사 매칭이 이루어짐을 확인한다.