[논문 리뷰] Revisiting Self-Distillation

Minh Pham, Minsu Cho외 2명|arXiv (Cornell University)|2022. 06. 17.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 딥러닝에서의 자기-정규화(self-distillation)를 조사하며, 매우 정확한 교사 모델을 가질지라도 자기-정규화가 학습 정확도를 초월하는 학생 모델을 가능하게 한다고 보여준다. 저자들은 자기-정규화가 손실 곡면에서 더 평탄한 국소 최소값을 유도함으로써 일반화 성능 향상에 기여하는 기하학적 설명을 제시하며, 다중 시각 가설에 대한 기존 이론적 설명에 모순되는 점을 밝혀내어 이를 도전한다.

ABSTRACT

Knowledge distillation is the procedure of transferring "knowledge" from a large model (the teacher) to a more compact one (the student), often being used in the context of model compression. When both models have the same architecture, this procedure is called self-distillation. Several works have anecdotally shown that a self-distilled student can outperform the teacher on held-out data. In this work, we systematically study self-distillation in a number of settings. We first show that even with a highly accurate teacher, self-distillation allows a student to surpass the teacher in all cases. Secondly, we revisit existing theoretical explanations of (self) distillation and identify contradicting examples, revealing possible drawbacks of these explanations. Finally, we provide an alternative explanation for the dynamics of self-distillation through the lens of loss landscape geometry. We conduct extensive experiments to show that self-distillation leads to flatter minima, thereby resulting in better generalization.

연구 동기 및 목표

• 자신의 성능 향상이 일관되게 나타나는지를 이해하기 위해 여러 벤치마크와 설정에서 자기-정규화를 체계적으로 연구하기.
• 자신-정규화의 성공을 설명하는 데 있어 기존 이론적 설명, 특히 다중 시각 가설을 평가하고, 모순되는 경험적 증거를 밝혀내기.
• 손실 곡면 기하학에 기반한 자기-정규화 성공의 대안적 설명을 제안하고 검증하기, 특히 국소 최소값의 평탄함에 초점 맞추기.
• 자기-정규화가 평탄한 국소 최소값과 연결된 정규화 효과를 통해 일반화 성능 향상에 기여하는지 조사하기.

제안 방법

• ResNet과 VGG 아키텍처를 사용하여 표준 이미지 분류 벤치마크(예: CIFAR-10, CIFAR-100, SVHN)에서 교사 모델과 자기-정규화된 학생 모델의 성능을 비교하기 위해 광범위한 실험 수행.
• 손실 곡면에서 국소 최소값의 평탄함을 정량화하기 위해 헤시안 행렬의 트레이스와 최대 고유값을 측정.
• 손실 곡면의 등고선 시각화를 통해 교사 모델과 자기-정규화된 학생 모델 간의 국소 최소값 기하학적 특성을 정성적으로 비교.
• 온도 조정된 교차 엔트로피 손실을 사용한 지식 정규화를 적용하여, 각 정규화 라운드에서 학생 모델이 교사 모델의 소프트 레이블을 따라하도록 훈련.
• 정규화 라운드 수와 하이퍼파rameter(예: 온도 τ 및 정규화 가중치 α)가 모델 성능 및 손실 곡면 특성에 미치는 영향을 분석하기 위해 아블레이션 스터디 수행.
• 성능 향상에서 다양성과 모델 유사성의 역할을 평가하기 위해 자기-정규화 모델을 베이스라인 앙상블 및 BAN(Bag of distilled models)과 비교.

실험 결과

연구 질문

• RQ1 교사 모델이 매우 정확한 경우에도 자기-정규화가 일관되게 테스트 정확도를 향상시킬 수 있는가?
• RQ2 기존 이론적 설명, 예를 들어 다중 시각 가설이 자기-정규화의 성공을 충분히 설명하는가?
• RQ3 손실 곡면의 기하적 성질—특히 국소 최소값의 평탄함—이 자기-정규화된 모델이 더 잘 일반화되는 이유를 설명할 수 있는가?
• RQ4 정규화 라운드가 진행됨에 따라 손실 곡면은 어떻게 변화하며, 교사 모델보다 더 평탄해지는가?
• RQ5 자기-정규화에서 모델 유사성(로짓 차이)과 성능 향상 간의 관계는 무엇인가?

주요 결과

• 예를 들어 SVHN에서 95.23%의 정확도를 가진 매우 정확한 교사 모델을 가질지라도, 자기-정규화를 통해 학생 모델은 95.94%의 테스트 정확도를 달성하여 교사 모델을 초월한다.
• 자기-정규화된 학생 모델은 교사 모델보다 헤시안 행렬의 트레이스와 최대 고유값이 낮아 손실 곡면에서 더 평탄한 국소 최소값을 나타낸다.
• 손실 곡면의 등고선 시각화 결과, 특히 다수의 정규화 라운드 이후에 학생 모델의 국소 최소값이 교사 모델보다 더 평탄하고 일반화 성능이 뛰어나다는 것이 확인된다.
• 다중 시각 가설은 경험적 결과에 의해 반박된다: 자기-정규화가 일관되게 데이터의 새로운 시각이나 측면을 학습하지는 않으며, 이는 그 가설이 주요 설명으로서의 타당성을 의심스럽게 한다.
• 정규화 라운드가 진행됨에 따라 학생과 교사 모델 간의 로짓 차이가 감소하여 모델 유사성이 증가하지만, 성능 향상이 계속 발생함을 시사하며, 이는 유사성이 성공의 주요 원인이 아님을 시사한다.
• 결과는 정규화가 손실 곡면을 평탄하게 하여 정규화 효과를 발휘함으로써 일반화 성능 향상이 이뤄진다는 가설을 지지하며, 얕은 모델에서의 이론적 결과와 일치하며 일반화 성능 향상의 이유를 설명한다.