[논문 리뷰] SquishedNets: Squishing SqueezeNet further for edge device scenarios via deep evolutionary synthesis

Mohammad Javad Shafiee, Francis Li외 2명|arXiv (Cornell University)|2017. 11. 20.

Advanced Neural Network Applications참고 문헌 10인용 수 24

한 줄 요약

이 논문은 초소형 딥 뉴럴 네트워크인 SquishedNets를 제안한다. 이는 저클래스 시나리오를 위한 아키텍처 수정과 심층 진화 합성 기법을 조합하여 유도된 것이다. 10개 클래스의 ImageNet-10에 대해 SqueezeNet v1.1을 수정하고 15세대에 걸쳐 진화시킴으로써, 모델 크기를 0.95MB로 줄였으며, 이는 SqueezeNet v1.1 대비 5.17배 작고, 77%의 top-1 정확도를 유지하면서 임베디드 GPU에서 최대 256장/초의 추론 속도를 달성한다.

ABSTRACT

While deep neural networks have been shown in recent years to outperform other machine learning methods in a wide range of applications, one of the biggest challenges with enabling deep neural networks for widespread deployment on edge devices such as mobile and other consumer devices is high computational and memory requirements. Recently, there has been greater exploration into small deep neural network architectures that are more suitable for edge devices, with one of the most popular architectures being SqueezeNet, with an incredibly small model size of 4.8MB. Taking further advantage of the notion that many applications of machine learning on edge devices are often characterized by a low number of target classes, this study explores the utility of combining architectural modifications and an evolutionary synthesis strategy for synthesizing even smaller deep neural architectures based on the more recent SqueezeNet v1.1 macroarchitecture for applications with fewer target classes. In particular, architectural modifications are first made to SqueezeNet v1.1 to accommodate for a 10-class ImageNet-10 dataset, and then an evolutionary synthesis strategy is leveraged to synthesize more efficient deep neural networks based on this modified macroarchitecture. The resulting SquishedNets possess model sizes ranging from 2.4MB to 0.95MB (~5.17X smaller than SqueezeNet v1.1, or 253X smaller than AlexNet). Furthermore, the SquishedNets are still able to achieve accuracies ranging from 81.2% to 77%, and able to process at speeds of 156 images/sec to as much as 256 images/sec on a Nvidia Jetson TX1 embedded chip. These preliminary results show that a combination of architectural modifications and an evolutionary synthesis strategy can be a useful tool for producing very small deep neural network architectures that are well-suited for edge device scenarios.

연구 동기 및 목표

• 자원 제약이 심한 엣지 디바이스에 딥 뉴럴 네트워크를 구현하는 데 도전하는 문제를 해결하기 위해.
• 추론 후 압축 또는 양자화 기법에 의존하지 않고 모델 크기와 추론 지연을 줄이기 위해.
• 소수의 클래스 시나리오에 특화된 아키텍처 수정이 SqueezeNet v1.1과 같은 기존 효율적 아키텍처를 초월해 추가적인 모델 압축을 가능하게 할 수 있는지 탐구하기 위해.
• 심층 진화 합성이 엣지 배포를 위한 매우 효율적이고 소규모의 딥 뉴럴 네트워크를 생성하는 데 얼마나 효과적인지 평가하기 위해.

제안 방법

• 모델의 파라미터 수를 줄이기 위해, 총 파라미터의 약 40%를 차지하는 최종 완전 연결층(conv10)을 10개 필터를 가진 1x1 컨벌루션으로 교체함으로써 SqueezeNet v1.1에 아키텍처 수정을 적용함.
• 진화 합성 전략을 적용하여, 각 세대의 네트워크가 자원 제약 환경을 반영하도록 유도된 확률 모델 P(H_g) ≈ P(H_g|H_{g-1}) · R (R < 1)에 따라 확률적 과정을 통해 생성됨.
• 진화 과정은 수정된 SqueezeNet v1.1 아키텍처를 조상 전구로 삼아 15세대에 걸쳐 수행됨.
• 환경 제약 조건은 모델 R에 통합되어, 각 세대에서 더 작고 빠르며 파라미터 효율적인 아키텍처를 선호하도록 설계됨.
• 각 후손 네트워크는 ImageNet-10 데이터셋에서 정확도와 추론 속도를 평가하기 위해 훈련 및 평가됨.
• 최종 SquishedNets는 10개 클래스 벤치마크에서 모델 크기, 추론 속도, top-1 정확도의 균형을 바탕으로 선정됨.

실험 결과

연구 질문

• RQ1 소수의 클래스 분류에 특화된 아키텍처 수정이 효율적인 딥 뉴럴 네트워크에서 모델 크기를 크게 줄일 수 있는가?
• RQ2 심층 진화 합성 기법이 정확도나 속도를 희생시키지 않고 SqueezeNet v1.1과 같은 최첨단 효율적 아키텍처를 추가로 압축할 수 있는가?
• RQ3 SqueezeNet v1.1을 초월해 얼마나 모델 크기를 줄일 수 있으며, 엣지 디바이스에서 높은 추론 속도와 정확도를 유지할 수 있는가?
• RQ4 양자화나 압축 후처리 기법 없이도 초소형 모델(예: <1MB)을 엣지 배포에 적합하게 만들 수 있는가?

주요 결과

• 가장 작은 SquishedNet은 모델 크기가 0.95MB에 달하며, 이는 SqueezeNet v1.1 대비 5.17배 작고, AlexNet 대비 253배 작다.
• SquishedNets는 Nvidia Jetson TX1에서 156~256장/초의 추론 속도를 기록하여 임베디드 하드웨어에서 뛰어난 실시간 성능을 보였다.
• 10개 클래스의 ImageNet-10 데이터셋에서 top-1 정확도는 81.2%에서 77.0% 사이를 기록하여 극단적인 모델 압축에도 불구하고 뛰어난 성능을 유지함.
• 소수의 클래스 작업을 위한 아키텍처 정제와 진화 합성의 조합은 압축 또는 양자화 없이도 매우 작고 효율적인 모델을 성공적으로 생성함.
• 환경 요소 모델 R < 1을 통해 자원 부족 환경을 강제 적용함으로써 진화 합성 과정이 더 작고 빠른 아키텍처로의 탐색을 효과적으로 이끌었음.
• 결과적으로 아키텍처 혁신과 진화적 탐색은 모델 압축 기법과 독립적으로 작동하여 엣지 배포를 위한 초경량 모델을 달성할 수 있음을 입증함.