[논문 리뷰] Do Not Blindly Imitate the Teacher: Using Perturbed Loss for Knowledge Distillation

Rongzhi Zhang, Jiaming Shen외 5명|arXiv (Cornell University)|2023. 05. 08.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 표준 KL 발산 손실을 마클로린 급수 전개를 통해 변형하여 보다 정확한 지도 데이터에 가까운 근사 교사 분포를 암묵적으로 생성함으로써 학생 모델 성능을 햖थ하는 새로운 지식 정복 손실인 PTLoss를 제안한다. 이 방법은 다섯 개의 데이터셋에서 상태의 기술을 달성하며, 분포 편차를 최소화하기 위해 펌프트레이션 계수를 체계적으로 최적화한다.

ABSTRACT

Knowledge distillation is a popular technique to transfer knowledge from large teacher models to a small student model. Typically, the student learns to imitate the teacher by minimizing the KL divergence of its output distribution with the teacher's output distribution. In this work, we argue that such a learning objective is sub-optimal because there exists a discrepancy between the teacher's output distribution and the ground truth label distribution. Therefore, forcing the student to blindly imitate the unreliable teacher output distribution leads to inferior performance. To this end, we propose a novel knowledge distillation objective PTLoss by first representing the vanilla KL-based distillation loss function via a Maclaurin series and then perturbing the leading-order terms in this series. This perturbed loss implicitly transforms the original teacher into a proxy teacher with a distribution closer to the ground truth distribution. We establish the theoretical connection between this "distribution closeness" and the student model generalizability, which enables us to select the PTLoss's perturbation coefficients in a principled way. Extensive experiments on five datasets demonstrate PTLoss can significantly improve the distillation effectiveness for teachers of various scales.

연구 동기 및 목표

• 교사 모델의 출력 분포가 지도 데이터에서 벗어날 경우 지식 정복의 성능이 열악해지는 문제를 해결하기 위해.
• 표준 KL 손실이 편향된 교사 출력을 그대로 모방하도록 강제하는 한계를 극복하기 위해.
• 정복 위험을 줄이기 위해 손실 함수의 펌프트레이션 계수를 체계적으로 선택하는 원칙적인 방법을 개발하기 위해.
• 손실 함수를 변형함으로써 더 정확한 근사 교사 분포를 얻을 수 있음을 이론적이고 경험적으로 입증하기 위해.
• PTLoss가 온도 스케일링과 레이블 스무딩과 같은 기존 기법들을 일반화하고 개선할 수 있음을 보여주기 위해.

제안 방법

• 표준 KL 기반 정복 손실을 마클로린 급수 전개로 표현하여 분석적 조작을 가능하게 한다.
• 마클로린 급수의 주요 항을 변형하여 더 유연한 손실 함수인 PTLoss를 설계한다.
• 펌프트레이션된 손실에 의해 암묵적으로 유도되는 출력 분포를 '근사 교사' 분포로 정의하며, 이는 원래 교사보다 진짜 레이블 분포에 더 가까운 분포이다.
• 검증 세트에서 근사 교사 분포와 진짜 레이블 분포 간의 경험적 편차를 최소화함으로써 펌프트레이션 계수를 최적화한다.
• PTLoss와 정복 위험 감소 사이의 이론적 연결 고리를 확립하여 일반화 경계의 향상을 보여준다.
• PTLoss가 온도 스케일링과 레이블 스무딩과 같은 기존 기법들을 특수 케이스로 포함함을 보여준다.

실험 결과

연구 질문

• RQ1 표준 KL 손실 함수를 변형함으로써 정확도가 높은 근사 교사 분포를 생성하여 정복 오차를 줄일 수 있는가?
• RQ2 손실 함수의 펌프트레이션 계수를 체계적으로 선택하여 근사 교사 분포와 지도 데이터 간의 차이를 최소화할 수 있는가?
• RQ3 PTLoss는 학생 모델의 일반화 성능 측면에서 표준 지식 정복 및 기존 손실 수정 기법보다 뛰어나게 성능을 발휘하는가?
• RQ4 PTLoss가 순수한 KL 손실에 비해 정복 위험을 줄이는 데 이론적으로 어떤 근거가 있는가?
• RQ5 PTLoss는 온도 스케일링과 레이블 스무딩과 같은 다른 손실 함수를 일반화하여 포함할 수 있는가?

주요 결과

• PTLoss는 ImageNet, CIFAR-100, ANLI를 포함한 다섯 개의 다양한 데이터셋에서 학생 모델의 정확도를 크게 향상시켰으며, 표준 KL 손실 및 이전의 최상위 기법들을 능가한다.
• ANLI 벤치마크에서 T5-large 교사 모델을 사용할 경우, PTLoss는 표준 KL 손실 대비 정확도에서 2.1%p의 절대적 향상을 달성했다.
• CIFAR-100에서 PTLoss는 시각 작업에 특화된 기존 기법인 Tf-KD_self보다도 뛰어난 성능을 보였다.
• 교사 모델의 크기가 다양한 경우에도 일관된 성능 향상을 보이며, 교사의 능력에 대해 강건함을 입증했다.
• 이론적 분석을 통해 PTLoss는 근사 교사 분포와 진짜 레이블 분포 간의 편차를 최소화함으로써 정복 위험 경계를 감소시킴을 확인했다.
• 경험적 검증을 통해 PTLoss가 온도 스케일링과 레이블 스무딩의 일반화로 간주될 수 있으며, 정복 목표에 대해 더 세밀한 제어가 가능함을 입증했다.