[논문 리뷰] DeepIoT: Compressing Deep Neural Network Structures for Sensing Systems with a Compressor-Critic Framework

Shuochao Yao, Yiran Zhao외 3명|arXiv (Cornell University)|2017. 06. 05.

Model Reduction and Neural Networks참고 문헌 48인용 수 40

한 줄 요약

DeepIoT는 완전히 연결된, 컨volutional, 그리고 순환 신경망에 걸쳐 부용한 은닉 유닛을 제거하기 위해 최적의 드롭아웃 확률을 자동으로 결정할 수 있는 통합된, 구조 인식 압축 프레임워크를 제안한다. 이는 인텔 에드슨과 같은 임베디드 장치에서 모델 크기를 90%에서 98.9%까지 줄이고, 추론 속도를 71.4%에서 94.5%까지 빠르게 하며, 에너지 소비를 72.2%에서 95.7%까지 감소시켜 정확도 손실 없이도 성능을 달성한다.

ABSTRACT

Recent advances in deep learning motivate the use of deep neutral networks in sensing applications, but their excessive resource needs on constrained embedded devices remain an important impediment. A recently explored solution space lies in compressing (approximating or simplifying) deep neural networks in some manner before use on the device. We propose a new compression solution, called DeepIoT, that makes two key contributions in that space. First, unlike current solutions geared for compressing specific types of neural networks, DeepIoT presents a unified approach that compresses all commonly used deep learning structures for sensing applications, including fully-connected, convolutional, and recurrent neural networks, as well as their combinations. Second, unlike solutions that either sparsify weight matrices or assume linear structure within weight matrices, DeepIoT compresses neural network structures into smaller dense matrices by finding the minimum number of non-redundant hidden elements, such as filters and dimensions required by each layer, while keeping the performance of sensing applications the same. Importantly, it does so using an approach that obtains a global view of parameter redundancies, which is shown to produce superior compression. We conduct experiments with five different sensing-related tasks on Intel Edison devices. DeepIoT outperforms all compared baseline algorithms with respect to execution time and energy consumption by a significant margin. It reduces the size of deep neural networks by 90% to 98.9%. It is thus able to shorten execution time by 71.4% to 94.5%, and decrease energy consumption by 72.2% to 95.7%. These improvements are achieved without loss of accuracy. The results underscore the potential of DeepIoT for advancing the exploitation of deep neural networks on resource-constrained embedded devices.

연구 동기 및 목표

• 자원 제약이 있는 임베디드 장치에서 IoT 센싱 응용 분야에 딥 뉴럴 네트워크를 구현할 때 발생하는 높은 메모리, 에너지, 지연 시간 요구 사항을 해결하기 위해.
• 완전히 연결된, 컨볼루션, 순환 네트워크를 포함한 다양한 딥 러닝 아키텍처에 적용 가능한 통합된 압축 방법을 개발하기 위해.
• 희소성 또는 선형 가정에 의존하는 대신, 부용한 은닉 유닛을 제거하여 네트워크 파라미터를 최소화하기 위해.
• 압축기 네트워크와 비평가 네트워크를 동시에 최적화하여 각 은닉 유닛에 대한 최적의 드롭아웃 확률을 학습하기 위해.
• 라이브러리 수정 없이도 압축 모델을 직접 임베디드 시스템에 배포할 수 있도록 하기 위해.

제안 방법

• 압축기-비평가 프레임워크를 사용하며, 압축기 네트워크는 각 은닉 유닛에 대한 최적의 드롭아웃 확률을 예측하고, 비평가 네트워크는 압축된 네트워크의 성능을 평가한다.
• 압축기 네트워크는 원래 네트워크와 함께 엔드 투 엔드로 훈련되며, 레이어드 러닝 유사 목적을 사용하여 부용성을 최소화하면서 정확도를 유지한다.
• 학습된 드롭아웃 확률에 따라 은닉 유닛을 제거함으로써 압축이 이루어지며, 이는 희소 행렬 대신 더 작은 밀집 행렬을 생성한다.
• 이 방법은 아키텍처에 종속되지 않으며, 완전히 연결된, 컨볼루션, 순환 레이어에 모두 동일하게 적용된다.
• 배포 전에 워크스테이션에서 피니어 튜닝이 수행되어 압축 모델이 엣지 장치에서 바로 사용할 수 있도록 준비된다.
• 이 방법은 행렬 분해나 희소성 가정에 의존하지 않아, 1D 필터나 순환 레이어에 대해 최적화되지 않을 수 있는 문제를 피한다.

실험 결과

연구 질문

• RQ1 다양한 딥 러닝 아키텍처를 사용하는 센싱 응용 분야에서 통합된 압축 프레임워크가 모델 크기를 효과적으로 줄일 수 있는가?
• RQ2 압축기-비평가 프레임워크를 통해 최적의 드롭아웃 확률을 학습하면 고정 또는 히우리스틱 드롭아웃 전략보다 더 나은 압축과 효율성을 달성할 수 있는가?
• RQ3 은닉 유닛 제거를 통한 구조적 프루닝이 에너지 소비와 지연 시간 측면에서 희소성 기반 또는 인자 기반 압축 방식보다 뛰어난 성능을 보일 수 있는가?
• RQ4 실제 센싱 작업에서 저전력 플랫폼에서 정확도를 유지하면서 얼마나 많은 모델 크기 감소를 달성할 수 있는가?
• RQ5 압축된 모델은 모바일 및 임베디드 시스템의 기존 딥 러닝 추론 라이브러리와 호환되는가?

주요 결과

• DeepIoT는 인텔 에드슨 장치에서 다섯 가지 센싱 작업에 걸쳐 모델 크기를 90%에서 98.9%까지 줄였다.
• 기준 방법 대비 실행 시간이 71.4%에서 94.5%까지 감소했다.
• 에너지 소비는 72.2%에서 95.7%까지 감소했으며, 가장 큰 감소율 95.7%는 HHAR 데이터셋에서 관찰되었다.
• 모든 기준 방법, 특히 SparseSep 및 기타 희소성 기반 접근 방식보다 속도와 에너지 효율성 측면에서 뛰어난 성능을 보였다.
• 압축 모델은 원래 정확도를 유지하여, 부용성 감소가 성능 저하를 유발하지 않았음을 입증했다.
• 이 방법은 기존 딥 러닝 라이브러리와 호환되며, 런타임 수정 없이도 임베디드 시스템에 직접 배포가 가능하다.