[논문 리뷰] Knowledge Distillation in Generations: More Tolerant Teachers Educate Better Students

Chenglin Yang, Lingxi Xie외 2명|arXiv (Cornell University)|2018. 05. 15.

Online Learning and Analytics참고 문헌 41인용 수 67

한 줄 요약

이 논문은 tolerant teacher를 활용한 세대별 학습으로, 보조 클래스에 대해 부드럽게 확신을 분배하는 top-score difference 손실(top-score-difference, TSD)을 통해 학생이 클래스 간 유사성을 학습하고 CIFAR100과 ILSVRC2012에서 베이스라인을 능가하도록 한다.

ABSTRACT

We focus on the problem of training a deep neural network in generations. The flowchart is that, in order to optimize the target network (student), another network (teacher) with the same architecture is first trained, and used to provide part of supervision signals in the next stage. While this strategy leads to a higher accuracy, many aspects (e.g., why teacher-student optimization helps) still need further explorations. This paper studies this problem from a perspective of controlling the strictness in training the teacher network. Existing approaches mostly used a hard distribution (e.g., one-hot vectors) in training, leading to a strict teacher which itself has a high accuracy, but we argue that the teacher needs to be more tolerant, although this often implies a lower accuracy. The implementation is very easy, with merely an extra loss term added to the teacher network, facilitating a few secondary classes to emerge and complement to the primary class. Consequently, the teacher provides a milder supervision signal (a less peaked distribution), and makes it possible for the student to learn from inter-class similarity and potentially lower the risk of over-fitting. Experiments are performed on standard image classification tasks (CIFAR100 and ILSVRC2012). Although the teacher network behaves less powerful, the students show a persistent ability growth and eventually achieve higher classification accuracies than other competitors. Model ensemble and transfer feature extraction also verify the effectiveness of our approach.

연구 동기 및 목표

• 교사-학생 최적화가 단순한 교사 정확도 이상으로 도움이 되는 이유를 제시한다.
• 감쇠된 교사 메커니즘을 도입하여 감독 신호에서 클래스 간 유사성을 보존한다.
• 유용한 보조 정보를 생성하기 위한 top-score-difference (TSD) 손실을 제안하고 평가한다.
• Dist^C와 Dist^S 지표를 통해 학습 역학에서 보조 정보의 영향을 정량화한다.
• 표준 데이터셋(CIFAR100 및 ILSVRC2012)에서 세대 기반 학습으로 학생 성능이 향상됨을 입증한다.

제안 방법

• 최적화를 초기 교사인 patriarch와 차례로 등장하는 학생들 간의 세대 학습으로 프레이밍한다.
• Ground-truth와 교사 가이던스를 결합한 혼합 감독 손실(Eq. 2)을 사용한다.
• 출력 분포를 softening하여 보조 정보를 보존하는 관대형 교사 목적을 도입한다(상위-K 보조 클래스 체계, Eq. 3).
• K, u(η), λ로 접근 방식을 매개변수화한다; K = 5로 설정하고 안정성을 위해 η를 대체하는 u(η)를 사용한다(Eq. 3.4).
• CIFAR100과 ILSVRC2012 전반에 걸쳐 기본 원-핫 학습, 라벨 스무딩 및 신뢰도 페널티를 top-score-difference(TSD) 변형과 비교한다.
• Dist^C와 Dist^S 지표를 통해 보조 정보의 품질을 평가하고 이를 최종 정확도와 연관시킨다.

Figure 2: Classification accuracy ( $\%$ ) on CIFAR100, produced by different training-in-generation processes. The baseline approach (single generation) corresponds to $\mathfrak{D}\!\left(1.0,0.0\right)$ , and $\mathfrak{D}\!\left(1.0,0.5\right)$ and $\mathfrak{D}\!\left(1.0,0.6\right)$ are born-a

실험 결과

연구 질문

• RQ1 관대형 교사가 보조 정보를 보존하는 방식으로 세대 기반 학습에서 학생의 정확도를 향상시키는가?
• RQ2 학생의 이익을 극대화하기 위해 교사의 완화된 분포를 어떻게 설계해야 하는가(어떤 보조 클래스를 강조할 것인가)?
• RQ3 세대 기반 학습에서 더 나은 성과와 상응하는 정량적 지표(Dist^C, Dist^S)는 무엇인가?
• RQ4 CIFAR와 같은 설정을 넘어 ILSVRC2012 같은 대규모 데이터셋에 세대 기반, 관대형 교사 방법이 전달되는가?
• RQ5 최적의 하이퍼파라미터(K, η를 통해 구한 η, λ)는 어떤 아키텍처에서 최상의 이득을 얻는가?

주요 결과

• 관대형 교사가 보조 정보를 보존하면 여러 세대에 걸쳐 학생의 지속적 이득이 나타나며 종종 patriarch 기반선을 능가한다.
• CIFAR100에서 TSD-0.6으로 얻은 최적 이득은 기본값 및 다른 손실보다 더 높은 최종 테스트 정확도를 제공하며, CNN의 더 깊은 아키텍처도 유사하게 이득을 얻는다.
• CIFAR100에서 관대형 교사 변형의 최적 보고 정확도는 73.72%에 도달하며(보고서의 기본값은 약 71.5%–72.5%), 앙상블로 성능이 더 향상된다.
• ILSvRC2012(ResNet-18)에서 관대형 교사 변형 D(0.6,0.6)는 최적 세대에서 top-1을 약 30.50%에서 29.60%로, top-5를 11.07%에서 10.11%로 개선하며, 앙상블 결과도 이득을 이어간다.
• DenseNets(100/190 레이어)는 D(0.6,0.6) 또는 D(0.7,0.6)를 사용할 때 단일 모델에서 1–2%의 이득과 앙상블에서 5% 이상 이득을 보이며, 추가적인 테스트 시간 비용 없이 최첨단에 근접한다.
• 연구는 Dist^C와 Dist^S를 통해 거친 분류 수준과 의미론적 수준의 클래스 구분력을 측정하고, Dist^S가 거친 수준 학습과 더 높은 관련이 있고 Dist^C가 보조 정보의 의미를 가진다는 것을 연결한다.