[논문 리뷰] Is Label Smoothing Truly Incompatible with Knowledge Distillation: An Empirical Study

Zhiqiang Shen, Zechun Liu외 4명|arXiv (Cornell University)|2021. 04. 01.

Machine Learning and Data Classification참고 문헌 40인용 수 26

한 줄 요약

이 논문은 레이블 스무딩이 지식 증류와 양립 불가능하다고 보는 관점을 반박하며, 많은 설정에서 스무딩이 증류를 향상시킬 수 있지만 장 tails 또는 다 클래스 regimes에서 실패할 수 있음을 보이고, 안정성 지표를 도입하고 비전, BNN, NMT 전반에 걸친 효과를 분석한다.

ABSTRACT

This work aims to empirically clarify a recently discovered perspective that label smoothing is incompatible with knowledge distillation. We begin by introducing the motivation behind on how this incompatibility is raised, i.e., label smoothing erases relative information between teacher logits. We provide a novel connection on how label smoothing affects distributions of semantically similar and dissimilar classes. Then we propose a metric to quantitatively measure the degree of erased information in sample's representation. After that, we study its one-sidedness and imperfection of the incompatibility view through massive analyses, visualizations and comprehensive experiments on Image Classification, Binary Networks, and Neural Machine Translation. Finally, we broadly discuss several circumstances wherein label smoothing will indeed lose its effectiveness. Project page: http://zhiqiangshen.com/projects/LS_and_KD/index.html.

연구 동기 및 목표

• 레이블 스무딩과 지식 증류 사이의 논쟁적 비호환성에 대해 명확히 한다.
• 스무딩이 교사 모델의 intra-class 및 inter-class 표현에 미치는 영향을 설명한다.
• 레이블 스무딩으로 제거된 정보를 측정하는 정량적 안정성 지표를 제안한다.
• ImageNet, CUB200-2011, iMaterialist, BNN, 및 NMT에서 레이블 스무딩과 함께 KD를 실증적으로 평가한다.
• 레이블 스무딩을 사용할 때 KD에서 덜 효과적인 조건(장-tail, 다수 클래스)을 식별한다.

제안 방법

• Hard 레이블과 스무딩 레이블로 학습된 교사를 비교하기 위한 모델 학습 및 시각화.
• intra-class 확률 분산을 측정하는 안정성 지표의 정의 및 사용.
• 지식 증류 설정: Hard 레이블 없이 교사로부터의 소프트 레이블을 사용하는 KD(KL 발산은 교사와 학생 출력 간의 차이).
• ImageNet-1K, CUB200-2011, iMaterialist, 이진 네트워크, 독일어→영어 NMT에 걸친 광범위한 실험.
• KD에 대한 감독 품질을 평가하기 위한 서로 다른 교사 정확도와 아키텍처에 대한 제거 연구로 KD를 평가한다.

실험 결과

연구 질문

• RQ1 교사 네트워크의 레이블 스무딩이 지식 증류의 효과를 저해하는가?
• RQ2 레이블 스무딩이 intra-class 표현과 학생으로의 지식 전달에 어떤 영향을 미치는가?
• RQ3 안정성 지표가 제거된 정보를 정량화하고 KD 성공을 예측할 수 있는가?
• RQ4 장-tail 또는 다수 클래스 데이터에서 레이블 스무딩이 KD에 덜 효과적이 되는 조건은 무엇인가?
• RQ5 레이블 스무딩을 사용할 때 지식 증류에 더 나은 교사를 결정하는 요인은 무엇인가?

주요 결과

• 레이블 스무딩이 KD 성능을 저해하지 않으며, 스무딩된 교사는 더 높은 학습 손실에도 불구하고 검증 정확도가 비슷하거나 더 나을 수 있다.
• 더 높은 정확도 교사는 일반적으로 더 강한 학생을 증류시키지만, 관계는 선형적이지 않고 학생 용량에 따라 다르다.
• 레이블 스무딩은 intra-class 분산(안정성)을 감소시키고 예측을 평평하게 만들지만, inter-class 관계 구조를 보존하여 비슷한 클래스의 KD에 도움을 준다.
• 제안된 안정성 지표는 모델 정확도와 상관관계가 있으며 KD를 위한 교사 품질의 지표로 사용할 수 있다.
• 장-tail 분포와 더 큰 클래스 수는 KD에서 레이블 스무딩의 효과를 감소시키며, 데이터셋의 복잡성 및 클래스 수에 따라 결과가 달라진다.