[논문 리뷰] On the Unreasonable Effectiveness of Knowledge Distillation: Analysis in the Kernel Regime

Arman Rahbar, Ashkan Panahi외 3명|arXiv (Cornell University)|2020. 03. 30.

Neural Networks and Applications참고 문헌 16인용 수 6

한 줄 요약

이 논문은 매우 넓은 두 층으로 이루어진 비선형 신경망의 커널 영역에서 지식 정련(KD)에 대한 최초의 이론적 분석을 제공한다. 이는 KD가 학생 네트워크 수렴 속도를 가속화하고, 라이팅 티켓 가설을 확인함으로써, 소프트 레이블이 지식 정련에서 지상 진실 레이블보다 더 빠르고 신뢰할 수 있는 학습을 가능하게 하는 이유를 확장된 선형 시스템 역학을 통해 설명한다.

ABSTRACT

Knowledge distillation (KD), i.e. one classifier being trained on the outputs of another classifier, is an empirically very successful technique for knowledge transfer between classifiers. It has even been observed that classifiers learn much faster and more reliably if trained with the outputs of another classifier as soft labels, instead of from ground truth data. However, there has been little or no theoretical analysis of this phenomenon. We provide the first theoretical analysis of KD in the setting of extremely wide two layer non-linear networks in model and regime in (Arora et al., 2019; Du & Hu, 2019; Cao & Gu, 2019). We prove results on what the student network learns and on the rate of convergence for the student network. Intriguingly, we also confirm the lottery ticket hypothesis (Frankle & Carbin, 2019) in this model. To prove our results, we extend the repertoire of techniques from linear systems dynamics. We give corresponding experimental analysis that validates the theoretical results and yields additional insights.

연구 동기 및 목표

• 실제로 지식 정련(KD)에서 소프트 레이블을 사용할 경우 지상 진실 레이블을 사용할 경우보다 성능이 뛰어나지는 이유를 이론적으로 설명하는 것.
• 매우 넓은 두 층 신경망의 커널 영역에서 지식 정련을 통해 훈련된 학생 네트워크의 학습 역학을 분석하는 것.
• 지식 정련의 맥락에서 라이팅 티켓 가설이 성립하는지 조사하는 것.
• 비선형이고 넓은 네트워크 환경에서 KD 행동을 모델링하고 이해하기 위해 선형 시스템 역학 기법을 확장하는 것.

제안 방법

• 아로라 등(2019), 두 및 후(2019), 코우 및 구(2019)의 최근 이론적 프레임워크를 활용하여 매우 넓은 두 층 비선형 신경망의 커널 영역에서 지식 정련을 분석한다.
• 학습 동역학을 모델링하기 위해 선형 시스템 역학의 확장된 기법을 학생 네트워크의 KD 하에서 적용한다.
• 교사 네트워크에서 유도된 소프트 레이블로 훈련된 학생 네트워크의 수렴 속도에 대한 이론적 결과를 유도한다.
• 정련된 모델에서 승리하는 라이팅 티켓 아키텍처의 존재성과 등장을 조사한다.
• 모델의 행동과 수렴 속도에 대한 실험적 분석을 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 왜 지식 정련에서 소프트 레이블을 사용할 경우 지상 진실 레이블을 사용할 경우보다 더 빠르고 안정적인 훈련이 이루어지는가?
• RQ2 커널 영역에서 지식 정련 하에 학생 네트워크는 어떤 특정한 인덕티브 바이어스나 구조적 특성을 학습하는가?
• RQ3 랜덤 초기화로부터 훈련된 하위 네트워크가 전체 네트워크 성능을 달성할 수 있다는 라이팅 티켓 가설이 지식 정련 맥락에서 성립하는가?
• RQ4 학습 동역학과 아키텍처에 따라 학생 네트워크의 수렴 속도는 어떻게 달라지는가?

주요 결과

• 지식 정련은 지상 진실 레이블을 사용할 경우보다 학생 네트워크의 수렴 속도를 크게 가속화한다.
• 교사가 넓은 비선형 네트워크일지라도, 학생 네트워크는 교사의 출력 분포와 매우 밀접하게 일치하는 함수를 학습한다.
• 라이팅 티켓 가설은 KD 환경에서 확인되었다: 랜덤 초기화로부터 훈련된 하위 네트워크는 정련된 소프트 레이블을 사용할 경우 전체 네트워크와 유사한 성능을 달성할 수 있다.
• 이론적 분석은 커널 영역가 학생 네트워크 동역학을 정밀하게 기술할 수 있음을 보여주며, 이는 소프트 레이블의 효과성을 설명한다.