[논문 리뷰] Distilling Model Knowledge

George Papamakarios|arXiv (Cornell University)|2015. 10. 08.

Time Series Analysis and Forecasting참고 문헌 9인용 수 9

한 줄 요약

이 학위논문은 출력값과 도함수를 일치시켜 복잡한 모델을 모방하도록 작고 효율적인 모델을 훈련시키는 일반적인 지식 정련 프레임워크를 제안한다. 모델 압축, 베이지안 예측 분포 정련, 비가역 생성 모델 정련 분야에서 최고 성능을 달성하며, 도함수 일치 및 온라인 정련과 같은 새로운 기법을 도입한다.

ABSTRACT

Top-performing machine learning systems, such as deep neural networks, large ensembles and complex probabilistic graphical models, can be expensive to store, slow to evaluate and hard to integrate into larger systems. Ideally, we would like to replace such cumbersome models with simpler models that perform equally well. In this thesis, we study knowledge distillation, the idea of extracting the knowledge contained in a complex model and injecting it into a more convenient model. We present a general framework for knowledge distillation, whereby a convenient model of our choosing learns how to mimic a complex model, by observing the latter's behaviour and being penalized whenever it fails to reproduce it. We develop our framework within the context of three distinct machine learning applications: (a) model compression, where we compress large discriminative models, such as ensembles of neural networks, into models of much smaller size; (b) compact predictive distributions for Bayesian inference, where we distil large bags of MCMC samples into compact predictive distributions in closed form; (c) intractable generative models, where we distil unnormalizable models such as RBMs into tractable models such as NADEs. We contribute to the state of the art with novel techniques and ideas. In model compression, we describe and implement derivative matching, which allows for better distillation when data is scarce. In compact predictive distributions, we introduce online distillation, which allows for significant savings in memory. Finally, in intractable generative models, we show how to use distilled models to robustly estimate intractable quantities of the original model, such as its intractable partition function.

연구 동기 및 목표

• 대규모 복잡한 기계학습 모델을 배치할 때 발생하는 실용적 과제를 해결한다. 이는 평가가 느리고 저장 비용이 높기 때문이다.
• 단순한 모델이 복잡한 모델의 행동을 재현할 수 있도록 지식 정련을 통합하는 프레임워크를 개발한다.
• 모델 압축, 작고 효율적인 베이지안 예측 분포, 비가역 생성 모델 정련의 세 가지 핵심 응용 분야에서 모델 효율성을 향상시킨다.
• 새로운 정련 기법을 통해 데이터 부족 상황에서 성능을 향상시키고 메모리 사용량을 줄인다.
• RBM와 같은 복잡한 모델의 비가역 양(예: 정규화 상수)을 정련된 모델을 통해 안정적으로 추정한다.

제안 방법

• 출력값과 도함수 값의 편차를 방지하기 위해 손실를 최소화하는 방식으로, 복잡한 교사 모델을 모방하도록 작고 효율적인 학생 모델을 훈련시킨다.
• 훈련 데이터가 제한된 경우 일반화 성능을 향상시키기 위해 모델 압축에서 도함수 일치 기법을 사용한다.
• 베이지안 추론을 위해 온라인 정련을 구현하여 충분통계량의 누적 평균을 유지함으로써 메모리 사용량을 줄인다.
• KL 발산 최소화를 통해 비정규화 가능한 모델(예: RBM)을 해석 가능한 모델(예: NADE)로 확률적 경사 하강법을 사용해 정련한다.
• 학생 모델과 교사 모델 양쪽에서 둘 이상의 도함수 계산을 효율적으로 수행하기 위해 R{backprop}을 활용한다.
• 혼합 모델을 정련하는 동안 배치 및 온라인 EM 알고리즘을 사용하며, 수렴을 위해 적응형 학습률 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 지식 정련을 다양한 기계학습 응용 분야에 적용 가능한 통합 프레임워크로 일반화할 수 있는가?
• RQ2 데이터가 부족한 상황에서 도함수 일치가 정련 성능을 어떻게 향상시키는가?
• RQ3 온라인 정련이 베이지안 예측 분포 학습에서 메모리 사용량을 크게 줄일 수 있는가?
• RQ4 정련된 모델이 RBM와 같은 복잡한 모델의 비가역 양(예: 정규화 상수)을 안정적으로 추정할 수 있는가?
• RQ5 모델 압축, 베이지안 추론, 비가역 생성 모델링 분야에서 정련의 상대적 성능 향상은 어느 정도인가?

주요 결과

• 도함수 일치 기법은 데이터가 부족한 상황에서 함수 값과 기울기를 모두 일치시킴으로써 모델 압축에서 정련 성능을 크게 향상시킨다.
• 온라인 정련은 전체 데이터 배치를 저장하는 대신 충분통계량의 누적 평균을 유지함으로써 메모리 소비를 줄인다.
• 정련된 NADE 모델은 원래 RBM의 비가역 정규화 상수를 높은 정확도로 성공적으로 추정한다.
• 이 프레임워크는 대규모 신경망 앙상블을 예측 성능가능성이 유사한 단일 작고 효율적인 모델로 효과적으로 정련할 수 있다.
• 적응형 학습률을 사용한 확률적 경사 하강법은 온라인 정련에서 안정적이고 수렴 가능한 최적화를 보장한다.
• 제안된 정련 프레임워크는 모든 세 가지 응용 분야에서 최고 성능을 달성한다: 모델 압축, 베이지안 추론, 비가역 생성 모델링.