[논문 리뷰] Knowledge Distillation: Bad Models Can Be Good Role Models

Gal Kaplun, Eran Malach외 2명|arXiv (Cornell University)|2022. 03. 28.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 과다 매개변수화된 신경망이 일반화 능력이 떨어지더라도, 레이블 노이즈의 조건부 샘플러로 작용함으로써 효과적인 지식 정복의 교사가 될 수 있다고 제안한다. 이론적으로, 이러한 '나쁜' 모델로부터의 정복은 교사가 예측 성능이 떨어지더라도 학생 네트워크가 베이즈 최적 분류기와 근접하게 수렴하도록 보장한다.

ABSTRACT

Large neural networks trained in the overparameterized regime are able to fit noise to zero train error. Recent work \citep{nakkiran2020distributional} has empirically observed that such networks behave as "conditional samplers" from the noisy distribution. That is, they replicate the noise in the train data to unseen examples. We give a theoretical framework for studying this conditional sampling behavior in the context of learning theory. We relate the notion of such samplers to knowledge distillation, where a student network imitates the outputs of a teacher on unlabeled data. We show that samplers, while being bad classifiers, can be good teachers. Concretely, we prove that distillation from samplers is guaranteed to produce a student which approximates the Bayes optimal classifier. Finally, we show that some common learning algorithms (e.g., Nearest-Neighbours and Kernel Machines) can generate samplers when applied in the overparameterized regime.

연구 동기 및 목표

• 과다 매개변수화된 모델이 훈련 노이즈를 완벽히 학습함에도 불구하고 일반화가 잘 되는 이유를 이해하는 것.
• 레이블 노이즈의 조건부 샘플러로 작용하는 모델의 이론적 성질을 조사하는 것.
• 이러한 노이즈가 있는 모델이 지식 정복에서 효과적인 교사가 될 수 있는지 탐색하는 것.
• 이러한 샘플러에서 정복이 이루어질 경우 학생 모델이 베이즈 최적 분류기와 가까워짐을 이론적으로 보장하는 것.

제안 방법

• 훈련 분포 내에서 과다 매개변수화된 모델이 레이블 노이즈의 조건부 샘플러로 작용하는 이론적 분석.
• 비라벨 데이터에 대한 소프트 레이블을 사용하여 이러한 샘플러로부터의 지식 정복을 공식화하는 것.
• 약한 가정 하에 조건부 샘플러에서의 정복이 베이즈 최적 분류기로 수렴함을 증명하는 것.
• 과다 매개변수화된 영역에서 조건부 샘플러를 생성하는 일반적인 학습 알고리즘(예: K-최근접 이웃, 커널 기반 기계)을 식별하는 것.
• 분포 일반화 이론을 사용하여 이러한 모델이 미리 보지 않은 데이터에서의 행동을 분석하는 것.
• 샘플러에서 정복을 통해 학생 네트워크가 베이즈 리스크에 수렴함을 보여주는 일반화 한계를 유도하는 것.

실험 결과

연구 질문

• RQ1 노이즈가 있는 훈련 데이터를 완벽히 학습하는 과다 매개변수화된 모델이 여전히 지식 정복에서 유용한 교사가 될 수 있는가?
• RQ2 이러한 노이즈가 있는 모델은 일반화 및 샘플링 행동 측면에서 어떤 이론적 성질을 보이는가?
• RQ3 이러한 모델에서의 지식 정복이 학생 네트워크의 일반화 성능을 향상시키는가?
• RQ4 표준 학습 알고리즘 중 과다 매개변수화된 영역에서 자연스럽게 조건부 샘플러를 생성하는 것은 무엇인가?
• RQ5 샘플러에서 정복이 이루어질 경우 학생이 베이즈 최적 분류기와 가까워짐을 이론적으로 보장할 수 있는가?

주요 결과

• 노이즈가 있는 데이터를 학습한 과다 매개변수화된 모델은 새로운 입력에서 레이블 노이즈를 재현하는 조건부 샘플러로 작용한다.
• 예측 정확도가 떨어지더라도 이러한 모델은 지식 정복에서 효과적인 교사로 기능한다.
• 이러한 샘플러에서의 정복은 학생 네트워크가 베이즈 최적 분류기와 근접하게 수렴함을 보장한다.
• K-최근접 이웃 및 커널 기반 기계와 같은 일반적인 알고리즘은 과다 매개변수화된 영역에서 조건부 샘플러를 생성한다.
• 이론적 분석을 통해 샘플러에서 정복이 이루어질 경우 일반화 성능이 베이즈 리스크에 매우 가까워짐을 확인할 수 있다.