[논문 리뷰] SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

Forrest Iandola, Song Han외 4명|arXiv (Cornell University)|2016. 02. 24.

Anomaly Detection Techniques and Applications인용 수 662

한 줄 요약

SqueezeNet은 50배 적은 매개변수로 ImageNet에서 AlexNet 수준의 정확도를 달성하고 모델 크기를 0.5MB 미만으로 압축합니다. 또한 논문은 소형 CNN의 미시/거시 설계 공간을 분석합니다.

ABSTRACT

Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN architectures offer at least three advantages: (1) Smaller DNNs require less communication across servers during distributed training. (2) Smaller DNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller DNNs are more feasible to deploy on FPGAs and other hardware with limited memory. To provide all of these advantages, we propose a small DNN architecture called SqueezeNet. SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, with model compression techniques we are able to compress SqueezeNet to less than 0.5MB (510x smaller than AlexNet). The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet

연구 동기 및 목표

• ImageNet에서 AlexNet 수준의 정확도를 유지하는 매개변수가 훨씬 적은 CNN 아키텍처를 식별한다.
• 매개변수 수를 줄이기 위한 건축적 구성요소(Fire 모듈)와 설계 전략을 제안한다.
• 압축 가능성 평가 및 소형 설계에서 미시/거시 아키텍처의 영향 이해를 한다.
• 설계 공간 탐색을 통해 원칙에 기반한 소형 CNN 설계에 대한 지침을 제공한다.

제안 방법

• Fire 모듈을 1x1 축소 레이어가 확장 레이어(1x1 및 3x3)로 피드하는 squeeze-expand 블록으로 도입한다.
• 설계 전략 적용: 3x3를 1x1 필터로 대체하고, squeeze 레이어를 통해 3x3 필터의 입력 채널 수를 줄이며, 큰 활성 맵을 유지하기 위해 다운샘플링을 지연시킨다.
• 여덟 개의 Fire 모듈과 늦은 풀링, 완전 연결 계층 제거를 통해 SqueezeNet 아키텍처를 구성한다.
• ReLU 활성화로 학습하고, Fire9 이후 드롭아웃과 특정 학습률 스케줄을 사용하며, expand 모듈을 두 개의 평행 컨볼루션 레이어(1x1 및 3x3)의 연결로 구현한다.
• AlexNet 기준선 및 이전 압축 방법과 비교하고 모델 크기와 정확도를 비교하며, Ultra-small 모델 달성을 위해 Deep Compression을 적용한다.

실험 결과

연구 질문

• RQ1 매개변수가 극도로 적은 CNN이 ImageNet에서 AlexNet 수준의 정확도에 도달할 수 있는가?
• RQ2 매개변수 수를 크게 줄이면서도 정확도를 희생하지 않는 가장 큰 영향을 주는 건축적 선택은 무엇인가(Fire 모듈, squeeze 비율, 1x1 vs 3x3 혼합, 다운샘플링 일정)?
• RQ3 사후 압축(양자화/가지치기)이 SqueezeNet 같은 매우 컴팩트한 CNN에 어떤 영향을 미치는가?
• RQ4 바이패스 연결 같은 거시적 아키텍처 수정이 소형 CNN의 정확도와 크기에 어떤 영향을 미치는가?

주요 결과

• SqueezeNet은 매개변수를 50x 줄이면서 ImageNet에서 AlexNet 수준의 Top-1/Top-5 정확도(57.5% / 80.3%)를 달성.
• Deep Compression(8비트, 6비트)을 사용하면 SqueezeNet은 0.66MB(363x) 및 0.47MB(510x)로 압축되면서도 기준 정확도를 유지하거나 초과.
• 거시적 아키텍처 바이패스 연결(간단/바이패스)이 모델 크기 증가 없이 Top-1을 최대 약 2.9%포인트 개선.
• 미시적 아키텍처 탐색은 SR 및 3x3 혼합을 조정하면 19MB에서 상위 5개 정확도 86.0%를 달성; 4.8MB 기준은 AlexNet 수준.
• SqueezeNet 모델 크기는 FPGA/임베디드 배포 및 OTA 업데이트에 매우 유리해진다.