[논문 리뷰] Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adversarial Networks

Zheng Xu, Yen-Chang Hsu외 1명|arXiv (Cornell University)|2017. 09. 01.

Anomaly Detection Techniques and Applications인용 수 83

한 줄 요약

이 논문은 깊고 넓은 교사를 이용해 얕고 가는 학생 네트워크를 학습시키기 위한 지식 증류용 GAN 기반 학습 손실을 도입하여 큰 정확도 손실 없이 추론 가속 가능 모델의 성능을 개선한다. GAN 접근 방식이 CIFAR-10/100 및 ImageNet32에서 전통적 KD를 능가하며, 특히 더 작은 학생들에서 두드러진다.

ABSTRACT

There is an increasing interest on accelerating neural networks for real-time applications. We study the student-teacher strategy, in which a small and fast student network is trained with the auxiliary information learned from a large and accurate teacher network. We propose to use conditional adversarial networks to learn the loss function to transfer knowledge from teacher to student. The proposed method is particularly effective for relatively small student networks. Moreover, experimental results show the effect of network size when the modern networks are used as student. We empirically study the trade-off between inference time and classification accuracy, and provide suggestions on choosing a proper student network.

연구 동기 및 목표

• 네트워크 가속화를 위한 동기 원문에서의 설명: 강력한 교사로부터의 지식 전달을 통해 경량화된 학생 모델을 학습하려 한다.
• 고정 KL-발산 목표를 넘어서는 다크 지식을 전달하기 위한 조건부 적대 신경망 기반 손실 제안.
• 학습된 손실이 특히 얕고 가는 학생 및 현대 잔차 아키텍처에 유익함을 입증.
• 학생 용량, 깊이/너비 및 추론 시의 트레이드오프가 성능에 미치는 영향 분석.

제안 방법

• 고정된 교사 WRN을 사용하고 얕고 가는 WRN 학생을 학습한다.
• KD 손실을 고정한 대신 GAN 기반 학습 손실로 대체하여 판별기가 교사 로짓과 학생 로짓을 구분하고 학생이 교사와 유사한 분포를 생성하도록 이끈다.
• GAN 손실에 보조 분류기 구성요소를 추가해 범주 수준 정렬을 제공하고 학생 로짓과 교사 로짓 간 L1 손실(인스턴스 수준 정렬 항)을 도입한다.
• 학습된 GAN 기반 손실과 감독된 교차 엔트로피 손실을 결합해 학생을 학습시킨다(손실 가중치의 수동 조정 없이).
• 3-layer MLP 판별기를 사용하고 판별기 깊이, 학습 안정성 및 멀티태스크 신호에 대한 견고성을 분석한다.

실험 결과

연구 질문

• RQ1 GAN 기반 학습 손실이 작은 빠른 학생 네트워크에서 고정 KD 손실보다 다크 지식을 더 효과적으로 전달할 수 있는가?
• RQ2 학생 용량(깊이/너비)이 지식 전달 효과성과 가속 가능성에 어떤 영향을 미치는가?
• RQ3 현대 잔차 아키텍처에서 GAN 기반 증류를 사용할 때 추론 시간, 매개변수 수, 정확도 간의 트레이드오프는 무엇인가?
• RQ4 서로 다른 규모의 데이터셋(CIFAR-10/100, ImageNet32)에서 판별기 아키텍처와 학습 역학에 학습된 손실이 견고한가?

주요 결과

• GAN 기반 지식 전달은 표준 KD와 비교하여 CIFAR-10, CIFAR-100, ImageNet32에서 소형 네트워크의 성능을 향상시킴.
• CIFAR-10/100에서 GAN 방법은 기초 학생 대비 오차를 줄이고 고정 KD를 능가함(테스트된 온도에서).
• ImageNet32에서 GAN 접근법은 더 작은 학생이 교사 성능에 더 가깝게 도달하도록 KD보다 잘 가능하게 함.
• GAN 기반 접근법의 이점은 얕고 가는 학생에서 가장 뚜렷하며 학생 용량이 커져도 효과가 유지됨.
• 판별기 깊이를 늘려도 큰 영향은 없고 3-layer MLP가 이 실험에서 충분하고 안정적임.