[논문 리뷰] SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size

Forrest Iandola, Song Han외 4명|arXiv (Cornell University)|2016. 02. 24.

Advanced Neural Network Applications참고 문헌 40인용 수 5,918

한 줄 요약

SqueezeNet는 AlexNet 수준의 정확도를 달성하면서도 파라미터 수를 50배 감소시키고 모델 크기를 0.5MB 이하로 줄인 경량 컨볼루션 신경망 아키텍처이다. 이는 압축된 파라미터 수를 유지하면서도 고정밀도를 확보하기 위해 스위치 모듈 설계, 스위치-익스카이트 연산, 밸런스 연결, 모델 압축 기법을 활용한다. 이는 FPGA 및 임베디드 시스템과 같은 자원 제약이 있는 장치에 효율적으로 구현 가능하게 한다.

ABSTRACT

Recent research on deep neural networks has focused primarily on improving accuracy. For a given accuracy level, it is typically possible to identify multiple DNN architectures that achieve that accuracy level. With equivalent accuracy, smaller DNN architectures offer at least three advantages: (1) Smaller DNNs require less communication across servers during distributed training. (2) Smaller DNNs require less bandwidth to export a new model from the cloud to an autonomous car. (3) Smaller DNNs are more feasible to deploy on FPGAs and other hardware with limited memory. To provide all of these advantages, we propose a small DNN architecture called SqueezeNet. SqueezeNet achieves AlexNet-level accuracy on ImageNet with 50x fewer parameters. Additionally, with model compression techniques we are able to compress SqueezeNet to less than 0.5MB (510x smaller than AlexNet). The SqueezeNet architecture is available for download here: https://github.com/DeepScale/SqueezeNet

연구 동기 및 목표

• AlexNet보다 훨씬 적은 파라미터를 가진 CNN 아키텍처를 설계하면서도 ImageNet 정확도를 유사하게 유지하는 것.
• CNN 마이크로아키텍처와 마크로아키텍처의 설계 공간을 탐색하여 효율적이고 정확하며 컴팩트한 모델을 식별하는 것.
• 메모리 제약이 있는 하드웨어, 예를 들어 FPGA 및 임베디드 시스템에 깊이 학습 모델을 실용적으로 구현하는 것.
• 정확도를 희생시키지 않은 채 파라미터 효율성에 중점을 둔 체계적인 CNN 아키텍처 설계 접근법을 개발하는 것.
• 모델 압축 기법을 아키텍처 혁신과 효과적으로 융합하여 초소형 모델을 달성할 수 있는지 증명하는 것.

제안 방법

• 핵심 구성 요소로 피어 모듈을 도입하여, 1×1 컨볼루션을 사용하는 스위치 레이어와 1×1 및 3×3 컨볼루션을 혼합한 확장 레이어로 구성된다.
• 스위치 비율(SR)을 0.125로 설정하여 확장 레이어 이전에 특징 맵 채널 수를 8배 감소시켜 파라미터를 최소화한다.
• 간단한 및 복잡한 잔차(버스) 연결을 사용하여 기울기 흐름을 개선하고 정확도를 향상시키며, 간단한 버스 연결은 추가 파라미터 없이 구현된다.
• 모델 압축 기법으로는 프루닝, 8비트 정수로의 양자화, 히프만 인코딩을 적용하여 SqueezeNet의 크기를 0.5MB 이하로 압축한다.
• 크기와 정확도 최적화를 위해 마이크로아키텍처(레이어 구성)와 마크로아키텍처(고수준 구조)의 체계적 설계 공간 탐색을 수행한다.
• 정확도를 유지하면서도 파라미터 효율성에 중점을 둔 체계적인 설계 기반 접근법을 활용하여 아키텍처 설계를 수행한다.

실험 결과

연구 질문

• RQ1 AlexNet 수준의 정확도를 달성하면서도 훨씬 적은 파라미터를 사용하는 CNN 아키텍처를 설계할 수 있는가?
• RQ2 필터 크기, 깊이, 잔차 연결과 같은 아키텍처 선택이 모델 크기와 정확도에 어떤 영향을 미치는가?
• RQ3 SqueezeNet처럼 컴팩트한 CNN 모델에 대해 모델 압축 기법을 얼마나 적용할 수 있으며, 정확도를 훼손하지 않고 크기를 얼마나 줄일 수 있는가?
• RQ4 간단한 버스 연결과 복잡한 버스 연결 간의 차이가 저파라미터 CNN에서 정확도와 파라미터 수에 어떤 영향을 미치는가?
• RQ5 체계적인 설계 공간 탐색을 통해 고도로 효율적인 CNN 아키텍처를 발견할 수 있는가?

주요 결과

• SqueezeNet는 ImageNet에서 57.5%의 top-1 정확도를 달성하여 AlexNet 수준의 성능을 보이며, 파라미터 수는 단 120만 개로 AlexNet 대비 50배 적다.
• 모델 압축을 통해 SqueezeNet는 0.5MB 이하로 압축되었으며, 압축되지 않은 AlexNet 대비 510배 작아졌고, 이는 자율주행 차량에서의 오버-the-에어 업데이트를 효율적으로 가능하게 한다.
• 간단한 버스 연결은 모델 크기를 늘리지 않고도 top-1 정확도를 2.9%p 향상시켜 60.4%로 향상시키며, 복잡한 버스 연결보다 우수한 성능을 보였다.
• 스위치 레이어에서 1×1 컨볼루션을 사용함으로써 파라미터 수를 극적으로 감소시키면서도 표현 능력을 유지할 수 있었다.
• 설계 공간 탐색 결과, 필터 크기, 깊이, 잔차 연결과 같은 아키텍처 선택이 모델 크기와 정확도 간의 트레이드오프에 상당한 영향을 미친다는 것이 확인되었다.
• SqueezeNet는 제한된 片상 메모리(예: 8.5MB)를 가진 FPGA에서 칩 내부에 직접 배포가 가능하여 추론 중 외부 메모리 접근을 제거할 수 있었다.