[논문 리뷰] Enabling Deep Learning on Edge Devices through Filter Pruning and Knowledge Transfer

Kaiqi Zhao, Yitao Chen외 1명|arXiv (Cornell University)|2022. 01. 22.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 자원이 제한된 엣지 디바이스에서 효율적이고 정확하며 점진적인 디바이스 내 학습을 가능하게 하기 위해 필터 프루닝과 지식 전이를 결합한 새로운 프레임워크를 제안한다. 클라우드 기반의 티처 모델로부터 문제 해결 지식을 전이하고, 모델을 더 얇고 浅은 아키텍처로 함께 압축함으로써, 실시간 수렴(3–6분), 기존 카테고리에서 90% 이상의 정확도 유지, 재학습 없이도 미리보지 않은 카테고리에서 78.92%의 Top-1 정확도를 달성한다.

ABSTRACT

Deep learning models have introduced various intelligent applications to edge devices, such as image classification, speech recognition, and augmented reality. There is an increasing need of training such models on the devices in order to deliver personalized, responsive, and private learning. To address this need, this paper presents a new solution for deploying and training state-of-the-art models on the resource-constrained devices. First, the paper proposes a novel filter-pruning-based model compression method to create lightweight trainable models from large models trained in the cloud, without much loss of accuracy. Second, it proposes a novel knowledge transfer method to enable the on-device model to update incrementally in real time or near real time using incremental learning on new data and enable the on-device model to learn the unseen categories with the help of the in-cloud model in an unsupervised fashion. The results show that 1) our model compression method can remove up to 99.36% parameters of WRN-28-10, while preserving a Top-1 accuracy of over 90% on CIFAR-10; 2) our knowledge transfer method enables the compressed models to achieve more than 90% accuracy on CIFAR-10 and retain good accuracy on old categories; 3) it allows the compressed models to converge within real time (three to six minutes) on the edge for incremental learning tasks; 4) it enables the model to classify unseen categories of data (78.92% Top-1 accuracy) that it is never trained with.

연구 동기 및 목표

• 메모리 및 계산 자원이 제한된 엣지 디바이스에 대규모 딥 러닝 모델을 구현하고 학습하는 데 도전하는 문제를 해결하기 위해.
• 로컬 데이터에서 실시간으로 학습함으로써 개인화되고 반응성이 높으며 프라이버시를 보호하는 디바이스 내 모델 학습을 가능하게 하기 위해.
• 기존의 모델 압축 및 지식 정련 기법들이 종종 점진적 학습을 지원하거나 새로운 카테고리로 일반화하는 데 실패하는 한계를 극복하기 위해.
• 압축 후에도 학습이 가능하고 지식 전이에 적합한 압축 모델을 개발하여, 압축 후 정확도 저하를 최소화하기 위해.
• 원래 학습 데이터나 레이블에 접근할 수 없더라도, 기존 카테고리를 잊지 않고 새로운 카테고리를 학습할 수 있도록 디바이스 내 모델이 가능하게 하기 위해.

제안 방법

• 기존에 훈련된 클라우드 모델에서 활성화 패턴이 약한 중복된 필터와 유사한 컨볼루션 레이어를 제거하는 필터 프루닝 기반의 모델 압축 기법을 적용하여 모델의 깊이와 너비를 줄인다.
• 압축된 모델은 원본 모델과 동일한 아키텍처를 유지하므로, 티처(클라우드) 모델과 스타디언트(엣지) 모델 간 효과적인 지식 전이가 가능하다.
• 출력 소프트 맵이나 특징 맵 외에도 중간 표현과 문제 해결 과정을 티처에서 스타디언트로 전이하는 새로운 지식 전이 방법을 제안한다.
• 지식 전이 효율성을 극대화하고 점진적 학습 중 치명적인 잊기 현상을 완화하기 위해 최적의 티처-스타디언트 레이어 쌍을 선택한다.
• 디스틸된 지식을 사용하여 새로운 로컬 데이터에 대해 스타디언트 모델을 점진적으로 학습함으로써, 이전 데이터에 대한 재학습 없이도 실시간 적응이 가능하다.
• 학생 모델이 그 어떤 클래스도 처음 본 적이 없더라도, 티처 모델의 지식을 활용하여 미리보지 않은 카테고리의 무 supervision 학습을 지원한다.

실험 결과

연구 질문

• RQ1 모델 압축 기법이 엣지 배포를 위해 모델 크기를 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ2 압축된 모델이 최소한의 지연 시간으로 디바이스 내에서 점진적으로 미세조정될 수 있고 치명적인 잊기 현상이 발생하지 않는가?
• RQ3 클라우드 기반의 티처 모델에서의 지식 전이가 디바이스 내 스타디언트 모델이 새로운 카테고리를 정확하게 분류하는 데 도움이 되는가?
• RQ4 중간 표현을 통해 문제 해결 과정을 전이하는 것이 기존의 소프트 레이블이나 특징 맵 전만으로 전이하는 전통적 지식 정련보다 성능이 뛰어나지 않는가?
• RQ5 전체 파이프라인은 엣지 하드웨어에서 점진적 학습 작업에 대해 실시간 수렴(몇 분 내로)을 달성할 수 있는가?

주요 결과

• 제안된 모델 압축 기법은 WRN-28-10에서 파라미터의 99.36%를 감소시키면서도 CIFAR-10에서 Top-1 정확도 90% 이상을 유지한다.
• 이 방법은 VGG-16에서 최대 139배의 압축 비율을 달성했으며, Caltech 101에서 정확도 손실이 10% 미만이다.
• 압축된 모델은 엣지 디바이스에서 점진적 학습 작업에 대해 3~6분 내로 수렴하여 실시간 적응이 가능하다.
• 지식 전이 방법 덕분에, 학습된 적이 없는 카테고리에서 스타디언트 모델이 CIFAR-10에서 78.92%의 Top-1 정확도를 달성한다.
• 점진적 학습 중 기존 카테고리에 대해 강력한 성능(90% 이상의 정확도)을 유지하여 치명적인 잊기 현상을 효과적으로 완화함을 보여준다.
• 중간 표현을 통한 문제 해결 과정 전이가 기존 지식 정련 기반 모델보다 현저히 뛰어나, 기존 FitNet 기반 기준에서는 0.00%였던 정확도가 78.92%로 향상된다.