[논문 리뷰] On student-teacher deviations in distillation: does it pay to disobey?

Vaishnavh Nagarajan, Aditya Krishna Menon외 3명|arXiv (Cornell University)|2023. 01. 30.

Middle East and Rwanda Conflicts인용 수 6

한 줄 요약

이 논문은 지식 정복의 역설을 해결하며, 학생 모델이 교사의 신뢰도 수준을 체계적으로 과장하고 경사 하강법에서 과도한 암묵적 편향을 보이며, 이 두 현상이 함께 일반화 성능 향상과 함께 발생함을 보여준다. 교사의 소프트 레이블에서 벗어나더라도, 정복에 의해 유도되는 정규화 효과 덕분에 학생은 더 나은 일반화 성능를 보인다.

ABSTRACT

Knowledge distillation (KD) has been widely used to improve the test accuracy of a "student" network, by training it to mimic the soft probabilities of a trained "teacher" network. Yet, it has been shown in recent work that, despite being trained to fit the teacher's probabilities, the student may not only significantly deviate from the teacher probabilities, but may also outdo than the teacher in performance. Our work aims to reconcile this seemingly paradoxical observation. Specifically, we characterize the precise nature of the student-teacher deviations, and argue how they can co-occur with better generalization. First, through experiments on image and language data, we identify that these probability deviations correspond to the student systematically exaggerating the confidence levels of the teacher. Next, we theoretically and empirically establish another form of exaggeration in some simple settings: KD exaggerates the implicit bias of gradient descent in converging faster along the top eigendirections of the data. Finally, we tie these two observations together: we demonstrate that the exaggerated bias of KD can simultaneously result in both (a) the exaggeration of confidence and (b) the improved generalization of the student, thus offering a resolution to the apparent paradox. Our analysis brings existing theory and practice closer by considering the role of gradient descent in KD and by demonstrating the exaggerated bias effect in both theoretical and empirical settings.

연구 동기 및 목표

• 지식 정복에서 학생 모델이 교사의 확률에서 벗어나지만 교사보다 더 잘 일반화되는 이론적 역설을 해결하기 위해.
• 특히 모델 용량의 불일치가 없는 자기 정복 설정에서 학생-교사 편차의 성격을 규명하기 위해.
• 정복이 경사 하강법의 암묵적 편향에 어떤 영향을 미치는지 조사하고, 이것이 일반화에 어떤 영향을 미치는지 파악하기 위해.
• 체계적인 편차—특히 신뢰도 과장—가 무작위가 아니라 정규화 효과에서 유래된 것으로서 유익한 성질임을 입증하기 위해.
• 이론과 실무를 연결하여, 신뢰도 과장의 경험적 관찰을 정복 훈련에서 경사 하강법의 이론적 성질과 연결하기 위해.

제안 방법

• 20개 이상의 이미지 및 언어 분류 설정에서 학생-교사 확률 편차를 경험적으로 분석하며, 로짓-로짓 플롯을 사용해 신뢰도 과장을 시각화한다.
• 선형 회귀에서 경사 하강법의 역학을 이론적으로 분석하여, 정복이 데이터 헤시안의 최상위 고유방향으로 향하는 암묵적 편향을 증폭시킴을 증명한다.
• CNN 및 MLP의 첫 번째 및 중간 레이어에서 고유공간 수렴 플롯을 사용해 깊은 신경망에서 과도한 암묵적 편향을 경험적으로 검증한다.
• 정복에서 일괄 레이블로의 손실 전환 및 그 반대를 포함한 통제된 실험을 수행하여 훈련 목표가 신뢰도 수준과 일반화에 미치는 영향을 분리한다.
• 모델 용량의 차이를 제거하기 위해 자기 정복 설정을 사용하여 정복의 영향을 모델 용량 차이에서 분리함을 확인하며, 학생과 교사가 동일한 경우에도 신뢰도 과장이 발생함을 입증한다.
• 로짓과 파라미터 투영의 시계열 플롯을 통해 훈련 시간에 따른 학생-교사 편차의 변화를 분석하여, 언제 그리고 어떻게 과장이 발생하는지 밝혀낸다.

실험 결과

연구 질문

• RQ1 왜 정복된 학생은 교사의 소프트 확률에서 벗어나지만 더 잘 일반화되는가?
• RQ2 학생-교사 편차는 어떤 구체적 형태를 띠며, 이는 체계적인가 무작위적인가?
• RQ3 지식 정복은 경사 하강법의 암묵적 편향을 증폭시키는가? 만약 그렇다면, 이는 최적화와 일반화에 어떤 영향을 미치는가?
• RQ4 모델 용량이 동일한 자기 정복 설정에서도 정복 과정에서 신뢰도 과장이 관찰될 수 있는가?
• RQ5 예를 들어 정복에서 일괄 레이블로의 손실 전환 시 신뢰도 수준과 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 20개 이상의 다양한 이미지 및 언어 분류 설정에서, 정복된 학생은 교사의 신뢰도를 체계적으로 과장하며, 고신뢰도 교사 예측에서는 더 높은 신뢰도를, 저신뢰도 예측에서는 더 낮은 신뢰도를 보인다.
• 자기 정복 설정에서는 학생과 교사의 아키텍처가 동일함에도 불구하고도 신뢰도 과장이 발생함을 입증하며, 이는 용량 불일치 때문이 아니라는 것을 보여준다.
• 이론적 분석을 통해 정복이 경사 하강법의 암묵적 편향을 증폭시켜 선형 회귀에서 데이터 헤시안의 최상위 고유방향으로의 수렴 속도를 빠르게 한다는 것을 밝혀냈다.
• 경험적 결과는 정복이 깊은 신경망에서 암묵적 편향을 과도하게 증폭시킴을 확인하며, 학생이 교사보다 주요 데이터 고유방향으로 더 빨리 수렴함을 보여준다.
• 손실 전환 실험을 통해 일괄 레이블 손실로 전환하면 신뢰도 과장이 억제되고, 정복 손실로 다시 전환하면 다시 나타나므로, 이는 정복 목표와의 인과적 연관성을 확인한다.
• 비내삽형 교사 설정(예: TinyImageNet)에서는 중간 훈련 단계에서 일괄 레이블 손실로 전환하면 정확도가 향상되지만, 내삽형 설정(예: CIFAR100)에서는 성능이 악화됨을 확인하여 암묵적 편향이 일반화에 기여하는 역할을 하는 것을 뒷받침한다.