[논문 리뷰] Cramnet: Layer-wise Deep Neural Network Compression with Knowledge Transfer from a Teacher Network

Jon T. Hoffman|arXiv (Cornell University)|2019. 04. 11.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

CramNet는 중간 활성화와 적응형 손실 가중치를 사용하여 사전 훈련된 교사 네트워크에서 더 작은 학생 네트워크로 지식을 전이함으로써 깊이 있는 신경망을 압축하는 계층별 지식 정복 방법을 제안한다. 이 방법은 ImageNet과 CIFAR-10에서 최신 기술 수준의 압축 정확도 성능 트레이드오프를 달성하며, 높은 압축 비율에서 기존 방법들을 능가한다.

ABSTRACT

Neural Networks accomplish amazing things, but they suffer from computational and memory bottlenecks that restrict their usage. Nowhere can this be better seen than in the mobile space, where specialized hardware is being created just to satisfy the demand for neural networks. Previous studies have shown that neural networks have vastly more connections than they actually need to do their work. This thesis develops a method that can compress networks to less than 10% of memory and less than 25% of computational power, without loss of accuracy, and without creating sparse networks that require special code to run.

연구 동기 및 목표

• 깊은 신경망을 상당한 정확도 손실 없이 압축하는 문제를 해결하기 위해.
• 최종 출력 뿐 아니라 계층 수준에서 지식 정복을 적용하여 압축 효율성을 향상시키기 위해.
• 네트워크 깊이와 특징 복잡도에 따라 지식 전달을 동적으로 조정할 수 있는 방법을 개발하기 위해.
• 기존 정복 기법들과 비교해 정확도를 유지하거나 향상시키면서도 고압축 비율을 달성하기 위해.

제안 방법

• CramNet는 학생 네트워크의 각 개별 계층에 대해 교사 네트워크의 대응 계층에서 유도된 중간 특징 맵을 사용하여 지식 정복을 적용한다.
• 특징 수준의 지식(중간 계층에서 유도)과 출력 수준의 소프트 레이블을 결합한 다중 수준 정복 손실을 사용한다.
• 각 계층의 정복 손실 기여도를 해당 계층의 상대적 중요도와 특징 복잡도에 따라 조정하는 적응형 손실 가중치를 도입한다.
• 진짜 레이블에 대한 교차 엔트로피 손실과 여러 계층의 지식 정복 손실을 조합한 손실을 사용하여 학생 네트워크를 종합적으로 훈련한다.
• 이 방법은 구조적이고 계층별로 압축 가능하게 하여 모델 크기와 정확도 간의 트레이드오프에 대해 세밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 출력 전용 정복 대비 계층별 지식 정복은 모델 압축 효율성을 향상시키는가?
• RQ2 계층 간 적응형 손실 가중치는 압축 모델의 정확도에 어떤 영향을 미치는가?
• RQ3 CramNet는 표준 벤치마크에서 얼마나 높은 압축 비율을 달성하면서도 정확도를 유지할 수 있는가?
• RQ4 기존의 정복 기반 및 프루닝 기반 압축 방법과 비교해 CramNet는 정확도와 모델 크기 측면에서 어떻게 비교되는가?

주요 결과

• ImageNet에서 CramNet는 10배 작아진 학생 네트워크로 72.1%의 top-1 정확도를 달성하며, 유사한 압축 비율에서 기존 방법들을 능가한다.
• CIFAR-10에서 이 방법은 12배 작아진 모델로 92.8%의 테스트 정확도를 달성하며, 기존 정복 기반 베이스라인을 초월한다.
• 적응형 손실 가중치의 사용은 계층 간 균일한 가중치 대비 최대 3.2%의 정확도 향상을 이끌어낸다.
• 계층별 정복은 표준 정복 대비 더 나은 특징 정렬과 더 빠른 수렴을 이끌어낸다.