[논문 리뷰] Revisiting Label Smoothing and Knowledge Distillation Compatibility: What was Missing?

Keshigeyan Chandrasegaran, Ngoc-Trung Tran외 2명|arXiv (Cornell University)|2022. 06. 29.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 장기간에 걸쳐 레이블 스무딩(LS)이 지식 증류(KD)에 해로운지에 대한 모순을 해결하며, '체계적 확산'을 missing mechanism으로 규명한다: 고온도에서 LS로 훈련된 교사 모델로부터 증류할 경우, 학생의 표현이 의미적으로 유사한 클래스들 쪽으로 체계적으로 확산되어 KD의 이점을 약화시킨다. 저자들은 LS로 훈련된 교사 모델에서 저온도로 증류할 경우 학생의 성능이 향상됨을 보여주며, LS-KD 호환성 문제에 대한 실용적인 해결책을 제시한다.

ABSTRACT

This work investigates the compatibility between label smoothing (LS) and knowledge distillation (KD). Contemporary findings addressing this thesis statement take dichotomous standpoints: Muller et al. (2019) and Shen et al. (2021b). Critically, there is no effort to understand and resolve these contradictory findings, leaving the primal question -- to smooth or not to smooth a teacher network? -- unanswered. The main contributions of our work are the discovery, analysis and validation of systematic diffusion as the missing concept which is instrumental in understanding and resolving these contradictory findings. This systematic diffusion essentially curtails the benefits of distilling from an LS-trained teacher, thereby rendering KD at increased temperatures ineffective. Our discovery is comprehensively supported by large-scale experiments, analyses and case studies including image classification, neural machine translation and compact student distillation tasks spanning across multiple datasets and teacher-student architectures. Based on our analysis, we suggest practitioners to use an LS-trained teacher with a low-temperature transfer to achieve high performance students. Code and models are available at https://keshik6.github.io/revisiting-ls-kd-compatibility/

연구 동기 및 목표

• 레이블 스무딩(LS)이 지식 증류(KD)에 해로운지에 관해 문헌에서 갈등하는 결과를 해결하기 위해.
• LS-KD 호환성 연구에서 일관되지 않은 결과를 유발하는 근본적 메커니즘을 규명하기 위해.
• 실무에서 LS와 KD를 결합하는 원칙적이고 경험적으로 검증된 전략을 제공하기 위해.
• 고온도에서 LS로 훈련된 교사 모델로부터 증류할 경우 학생 표현의 체계적 확산으로 인해 성능이 저하됨을 보여주기 위해.

제안 방법

• 학습된 학생 모델의 최전단 레이어 표현에서의 체계적 확산을 정량적으로 측정하기 위해 새로운 지표인 확산 지수(η)를 제안한다.
• 최전단 레이어 특징의 정성적 시각화를 통해 고온도에서 LS로 훈련된 교사 모델로부터 증류할 경우 의미적으로 유사한 클래스의 표현이 수렴함을 보여준다.
• 이미지 분류(ImageNet-1K, CUB200-2011), 신경망 기계 번역(IWSLT), 그리고 컴act한 학생 증류(MobileNetV2, EfficientNet-B0) 작업을 대상으로 대규모 실험을 수행한다.
• 다양한 군집 거리 특성화 방식에 대해 확산 지수(η)의 탄력성을 확보하기 위해 대체 거리 지표(예: 쌍별 거리)를 사용해 결과를 검증한다.
• 더 높은 레이어 스무딩 강도(α=0.2)를 사용한 분석을 통해 체계적 확산이 지속되고 더욱 악화됨을 확인하기 위해 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 왜 레이블 스무딩과 지식 증류의 호환성에 관해 갈등하는 결과가 존재하는가?
• RQ2 고온도에서 레이블 스무딩된 교사 모델로부터 증류할 경우 성능 저하를 유발하는 메커니즘은 무엇인가?
• RQ3 교사 네트워크에서 정보 삭제의 이점이 KD에서 부정적인 영향을 상쇄하는가?
• RQ4 어떤 조건에서 레이블 스무딩은 지식 증류와 호환되는가?

주요 결과

• 고온도에서 LS로 훈련된 교사 모델로부터 증류할 경우, 의미적으로 유사한 클래스들 쪽으로 학생 표현이 체계적으로 확산되어 KD의 이점이 약화된다.
• 확산 지수(η)는 고온도로 LS 교사 모델에서 증류한 학생 모델의 표현이 유사한 클래스들 쪽으로 상당한 확산을 보임을 정량적으로 확인한다.
• ImageNet-1K 및 CUB200-2011에서의 실험 결과, LS로 훈련된 교사 모델에서 저온도로 증류할 경우 고온도로 증류하는 것보다 학생의 성능이 뛰어나다.
• 더 큰 레이블 스무딩 하이퍼파라미터(α=0.2)를 사용할 경우 체계적 확산이 악화되어, 이 현상이 스무딩 강도에 관계없이 일반화됨을 확인한다.
• 쌍별 거리 등 대체 거리 지표를 사용한 결과도 일관되게 나타나, 확산 지수(η)가 다양한 군집 거리 특성화 방식에 대해 탄력적임을 검증한다.