[논문 리뷰] Towards Understanding Knowledge Distillation

Mary Phuong, Christoph H. Lampert|arXiv (Cornell University)|2021. 05. 27.

Machine Learning and Algorithms인용 수 133

한 줄 요약

본 논문은 선형 및 심층 선형 모델에 대한 지식 증류에 대한 이론적 분석을 제공하며, 빠른 일반화를 증명하고 전이 성능을 이끄는 세 가지 핵심 요인—데이터 기하학, 최적화 바이어스, 강한 단조성—을 식별한다.

ABSTRACT

Knowledge distillation, i.e., one classifier being trained on the outputs of another classifier, is an empirically very successful technique for knowledge transfer between classifiers. It has even been observed that classifiers learn much faster and more reliably if trained with the outputs of another classifier as soft labels, instead of from ground truth data. So far, however, there is no satisfactory theoretical explanation of this phenomenon. In this work, we provide the first insights into the working mechanisms of distillation by studying the special case of linear and deep linear classifiers. Specifically, we prove a generalization bound that establishes fast convergence of the expected risk of a distillation-trained linear classifier. From the bound and its proof we extract three key factors that determine the success of distillation: * data geometry -- geometric properties of the data distribution, in particular class separation, has a direct influence on the convergence speed of the risk; * optimization bias -- gradient descent optimization finds a very favorable minimum of the distillation objective; and * strong monotonicity -- the expected risk of the student classifier always decreases when the size of the training set grows.

연구 동기 및 목표

• 경험적 관찰을 넘어 지식 증류를 동기 부여하고 분석한다.
• 지식 증류로 학습된 선형 분류기의 빠른 수렴을 보이는 일반화 경계를 도출한다.
• 지식 증류의 성공을 결정하는 세 가지 요인(데이터 기하학, 최적화 바이어스, 강한 단조성)을 식별하고 설명한다.
• n >= d일 때 유한한 샘플로도 지식 증류가 선생님의 가중치를 복구할 수 있음을 보인다.

제안 방법

• 선형 교사와 선형 학생(직접 또는 심층 선형 네트워크)을 사용하여 증류 설정을 모델링한다.
• 교사의 출력의 시그모이드로 생성된 소프트 레이블에 대해 무한소 그래디언트 흐름을 사용하여 학생을 학습시킨다.
• 그래디언트 흐름 하에서 학생의 엔드투엔드 가중치에 대한 닫힌 형태의 점근 해를 도출한다.
• n >= d일 때 제로 리스크를 보이는 전이 리스크 경계와 n < d일 때 분포 의존적 경계를 보인다.
• w*와 데이터 사이의 각도와 같은 기하학적 양을 도입하여 전이 위험을 경계한다.
• 데이터 기하학, 최적화 바이어스, 및 단조성이 학습 역학과 전이 효율에 어떤 영향을 미치는지 논의한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 지식 증류로 학습된 선형 학생이 유한한 샘플로 교사의 가중치를 복구할 수 있는가?
• RQ2 학생이 소프트 레이블로부터 얼마나 빨리 학습하는지, 그리고 데이터 기하학이 전이 위험에 어떤 영향을 미치는가?
• RQ3 최적화 역학과 데이터 분포가 증류 성공에서 어떤 역할을 하는가?
• RQ4 선형 증류에서 학습 데이터를 늘리면 전이 위험(단조성)에 어떻게 영향을 미치는가?

주요 결과

• n >= d이면 학생은 교사의 가중치 벡터를 확률 1로 완벽하게 식별한다(거의 확실히).
• n < d일 때 학생은 데이터 스팬에 대한 교사의 가중치의 투영을 학습한다. 즉 가장 좋은 부분공간 제약 근사치.
• 전이 위험은 n >= d일 때 0으로 감소하고, n < d일 때는 w*와 데이터 사이의 각 기하학적 관계를 포함하는 분포 의존적 표현으로 한정된다.
• 대수 큰 여유 마진 또는 잘 정렬된 데이터 분포의 경우 전이 위험은 지수적으로 감소하거나 n에 대한 다항식 경계로 특징지어진다(Corollaries 1 and 2).
• 세 가지 핵심 요인은 데이터 기하학(클래스 구분 및 w*와의 정렬), 최적화 바이어스(그래디언트 디센트가 유리한 지점으로 수렴), 그리고 강한 단조성(데이터를 더해도 전이 위험이 증가하지 않음)이다.
• 이 이론은 비허무적이며 유한 샘플 보장을 제공하며, 고전적인 hard-label 학습과 대조적으로 빠른 수렴 및 명시적 위험 경계를 포함한다.