[논문 리뷰] Distilling the Knowledge in a Neural Network

Geoffrey E. Hinton, Oriol Vinyals외 1명|arXiv (Cornell University)|2015. 03. 09.

Neural Networks and Applications참고 문헌 9인용 수 13,896

한 줄 요약

이 논문은 소프트 타깃(distillation)으로 대규모 앙상블이나 고정규화 네트워크의 지식을 한 개의 더 작은 모델로 이전하는 방법을 보여주며, MNIST, 음성 인식, 대규모 이미지 데이터셋에서 상당한 성능 향상을 달성한다.

ABSTRACT

A very simple way to improve the performance of almost any machine learning algorithm is to train many different models on the same data and then to average their predictions. Unfortunately, making predictions using a whole ensemble of models is cumbersome and may be too computationally expensive to allow deployment to a large number of users, especially if the individual models are large neural nets. Caruana and his collaborators have shown that it is possible to compress the knowledge in an ensemble into a single model which is much easier to deploy and we develop this approach further using a different compression technique. We achieve some surprising results on MNIST and we show that we can significantly improve the acoustic model of a heavily used commercial system by distilling the knowledge in an ensemble of models into a single model. We also introduce a new type of ensemble composed of one or more full models and many specialist models which learn to distinguish fine-grained classes that the full models confuse. Unlike a mixture of experts, these specialist models can be trained rapidly and in parallel.

연구 동기 및 목표

• 앙상블 또는 대형 모델 학습을 활용하여 지연 시간과 자원이 제한된 환경에서도 정확한 모델을 배포해야 함을 제시한다.
• 소프트 타깃을 사용하여 번거로운 모델의 일반화 능력을 작은 모델로 이전하는 증류 프레임워크를 소개한다.
• 전문가 앙상블과 함께 MNIST, 음성 인식, 그리고 대규모 이미지 데이터셋에서 증류의 실용적 이점을 시연한다.

제안 방법

• 소프트맥스의 온도 T를 높여 더 부드러운 출력 분포를 생성함으로써 소프트 타깃을 정의한다.
• 번거로운 모델이 생성한 소프트 타깃으로 증류 모델을 학습하고, 필요에 따라 가중된 목적함수를 사용하여 하드 타깃과 결합한다.
• 높은 T에서 로짓을 맞추는 것은 증류의 특수한 경우임을 보이고, T에 따른 그래디언트 스케일링(그래디언트 ~ 1/T^2)을 논의한다.
• 라벨이 없거나 있는 전송 세트를 사용한다; 라벨이 있을 때는 소프트 타깃 손실과 하드 타깃 손실을 적절한 가중치와 스케일로 혼합한다.
• 혼동 가능한 클래스 부분집합에서 학습된 전문가는 일반주의자로 초기화되고, 과적합을 피하기 위해 더미 클래스를 조정하여 균형을 맞춘 전문 앙상블을 제안한다.

실험 결과

연구 질문

• RQ1 작은 모델이 소프트 타깃을 통해 큰 앙상블의 일반화 동작을 학습할 수 있는가?
• RQ2 지식을 최대한 잘 전달하도록 증류를 어떻게 구성해야 하는가(온도, 손실 가중치)?
• RQ3 전문가 앙상블을 가진 MNIST, 음성 인식, 그리고 매우 큰 데이터셋에 증류를 적용했을 때 얻는 이점은 무엇인가?
• RQ4 로짓을 맞추는 것이 증류의 특수한 경우인가, 그리고 온도가 로짓이 담는 정보에 어떤 영향을 미치는가?
• RQ5 매우 큰 라벨 공간에서 전문 앙상블과 그 증류의 효과는 어느 정도인가?

주요 결과

시스템	테스트 프레임 정확도	WER
Baseline	58.9%	10.9%
10xEnsemble	61.1%	10.7%
Distilled Single model	60.8%	10.7%

• MNIST에서 소프트 타깃을 이용한 증류는 작은 네트워크의 오류를 하드 타깃일 때의 146에서 74로 크게 줄이고, 대형 모델의 성능에 근접하게 한다.
• 음성 인식에서는 증류된 단일 모델이 10개 모델의 앙상블과 유사한 이득을 얻는다. 기준 프레임 정확도는 58.9%이고 WER은 10.9%인 반면, 증류된 경우 프레임 정확도 60.8%, WER 10.7%이다.
• 증류는 앙상블의 이점을 단일 모델로 상당 부분 이전한다. ASR의 경우 증류된 모델이 앙상블 개선의 80% 이상을 포착한다.
• JFT 데이터셋에서 일반주의자와 61개의 전문가는 결합해 베이스라인 대비 top-1 정확도에서 상대적으로 4.4%의 향상을 얻는다.
• 혼동될 수 있는 부분집합에서 학습된 전문가는 독립적으로 학습될 수 있고 증류 시 비용이 많이 들지 않으면서도 이점을 유지한다.
• 소프트 타깃은 강력한 규제화 효과를 가지며, 전송 데이터가 훨씬 적은 ASR과 같은 설정에서도 좋은 일반화를 가능하게 한다(데이터의 3% 수준으로도 가능).