[논문 리뷰] Does Knowledge Distillation Really Work?

Samuel Stanton, Pavel Izmailov외 3명|arXiv (Cornell University)|2021. 06. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 11

한 줄 요약

이 논문은 대규모 교사 모델에서 소규모 학생 네트워크로 지식 증류가 진정으로 지식을 전달하는지 조사하며, 학생의 일반화 능력 향상에도 불구하고 예측 분포 일치도로 측정된 충실도는 놀랍게 낮다는 것을 발견한다. 핵심 문제는 능력이나 데이터 품질이 아니라 최적화의 어려움이며, 학생 모델가 교사의 가중치 근처에서 초기화된 경우에도 최적의 해에 수렴하지 못하는 경우가 많다.

ABSTRACT

Knowledge distillation is a popular technique for training a small student network to emulate a larger teacher model, such as an ensemble of networks. We show that while knowledge distillation can improve student generalization, it does not typically work as it is commonly understood: there often remains a surprisingly large discrepancy between the predictive distributions of the teacher and the student, even in cases when the student has the capacity to perfectly match the teacher. We identify difficulties in optimization as a key reason for why the student is unable to match the teacher. We also show how the details of the dataset used for distillation play a role in how closely the student matches the teacher -- and that more closely matching the teacher paradoxically does not always lead to better student generalization.

연구 동기 및 목표

• 지식 증류가 강력한 일반화 성능 향상을 보일지라도 교사-학생 모델 간 예측 충실도를 높이지 못하는 이유를 조사하기 위해.
• 교사와 학생 모델 간 예측 차이가 최적화 과제, 데이터 품질, 또는 식별 가능성 문제에서 기인하는지 판단하기 위해.
• 증류 충실도와 일반화를 개념적으로 분리하여, 높은 정확도가 높은 충실도를 의미하지는 않음을 보여주기 위해.
• 데이터 증강, 연장된 훈련, 공유된 초기화와 같은 간섭 조치가 충실도를 향상시키는지 평가하고, 만약 그렇다면 어떤 조건에서 그런가를 파악하기 위해.

제안 방법

• 자기 증류와 앙상블 증류 모두에 대해 ResNet-20 및 ResNet-56 아키텍처를 사용하여 CIFAR-100에서 실험을 수행하였다.
• 실제 데이터에 GAN으로 생성된 샘플을 추가하여 증류 데이터셋 크기를 체계적으로 평가함으로써 데이터 품질과 커버리지 향상 효과를 분석하였다.
• 랜덤 초기화 및 교사의 초기 가중치를 사용한 초기화 방법을 비교하여 학생 성능을 평가하였다.
• 예측 분포 간 KL 발산, 예측 분포 일치도를 측정하기 위한 협의율, 네트워크 프리액티베이션의 중심 커널 정렬(CKA)을 사용하여 충실도를 측정하였다.
• 훈련 기간, 데이터 증강(예: MixUp), 최적화기 선택(예: Adam)이 충실도와 일반화에 미치는 영향을 평가하였다.
• 모든 메트릭의 평균과 표준편차를 추정하기 위해 다수의 랜덤 시드(10회 시도)를 사용하여 결과의 견고성을 확보하였다.

실험 결과

연구 질문

• RQ1 현대 딥러닝 환경에서 지식 증류가 교사-학생 모델 간 높은 예측 충실도를 달성하는 데 얼마나 성공하는가?
• RQ2 학생 모델의 능력이 충분한 경우에도 증류 데이터셋의 품질이나 크기를 향상시키면 학생의 충실도가 향상되는가?
• RQ3 교사와 학생 간 공유된 가중치 초기화가 증류 충실도를 크게 향상시킬 수 있는가, 아니면 문제의 근본 원인이 최적화에 기인하는가?
• RQ4 교사의 예측을 따라잡지 못하는 것은 식별 가능성 문제 때문인지, 아니면 훈련 중 최적의 수렴에 실패했기 때문인가?
• RQ5 학생의 일반화 능력(정확도)과 증류 충실도(분포 일치도) 사이의 관계는 무엇이며, 항상 함께 향상되는가?

주요 결과

• 충분한 모델 능력이 있음에도 불구하고, 교사와 학생 모델 간 예측 분포의 큰 격리로 인해 지식 증류가 높은 충실도를 달성하지 못하는 경우가 빈번히 발생한다.
• 자기 증류의 경우, GAN으로 생성된 샘플을 추가하여 증류 데이터셋 크기를 늘리면 충실도는 향상되었지만 테스트 정확도는 감소하여 최적화 복잡도와 데이터 품질 사이의 상충 관계를 보였다.
• 학생 모델가 교사의 최종 가중치 근처에서 초기화되면 동일한 손실 골짜기로 수렴하고 거의 100%의 일치도를 달성함으로써 최적화 문제의 근본 원인이 충실도 저하의 근본 원인임을 입증하였다.
• 교사와 학생 간 공유된 초기화는 CKA를 높히긴 했지만(77.174에서 77.098으로), 기능적 일치도나 예측 KL은 유의미하게 향상되지 않아 초기화만으로는 충분하지 않음을 보였다.
• MixUp, 연장된 훈련, 철저한 데이터 증강과 같은 간섭 조치에도 불구하고 학생 모델가 여전히 교사의 예측을 따라잡지 못함으로써 최적화 역학이 주요 장애물임을 확인하였다.
• 높은 정확도는 높은 충실도를 의미하지는 않으며, 실제로 가장 정확한 모델일수록 항상 교사의 예측 분포에 가장 충실한 것은 아니다.