[논문 리뷰] Keynote: Small Neural Nets Are Beautiful: Enabling Embedded Systems with Small Deep-Neural-Network Architectures

Forrest Iandola, Kurt Keutzer|arXiv (Cornell University)|2017. 10. 07.

Advanced Neural Network Applications인용 수 19

한 줄 요약

이 논문은 480KB의 모델 파라미터만을 사용하여 ImageNet 수준의 정확도를 달성하는 소형 딥 뉴럴 네트워크 아키텍처인 SqueezeNet을 소개한다. 이는 임베디드 시스템에 효율적으로 구현 가능한 것이다. 파라미터 프루닝, 파이어 모듈 아키텍처, 딥웨이즈 분리형 컨볼루션과 같은 임베디드 프로세서 설계 원칙을 적용함으로써, 계산 및 메모리 오버헤드를 최소화하면서도 높은 정확도를 달성하며, 자원이 제한된 환경에서 작동하는 컴act하고 고성능의 신경망을 설계하기 위한 실용적인 가이드라인을 수립한다.

ABSTRACT

Over the last five years Deep Neural Nets have offered more accurate solutions to many problems in speech recognition, and computer vision, and these solutions have surpassed a threshold of acceptability for many applications. As a result, Deep Neural Networks have supplanted other approaches to solving problems in these areas, and enabled many new applications. While the design of Deep Neural Nets is still something of an art form, in our work we have found basic principles of design space exploration used to develop embedded microprocessor architectures to be highly applicable to the design of Deep Neural Net architectures. In particular, we have used these design principles to create a novel Deep Neural Net called SqueezeNet that requires as little as 480KB of storage for its model parameters. We have further integrated all these experiences to develop something of a playbook for creating small Deep Neural Nets for embedded systems.

연구 동기 및 목표

• 제한된 메모리와 계산 능력을 지닌 자원이 제한된 임베디드 시스템에 딥 뉴럴 네트워크를 구현하는 데 도전하는 것.
• 모델 크기와 파라미터 수를 극적으로 줄이면서도 높은 정확도를 유지하는 딥 뉴럴 네트워크 아키텍처를 개발하는 것.
• 임베디드 마이크로프로세서 아키텍처의 설계 원칙을 신경망 아키텍처 설계에 적용하여 효율적인 모델 압축을 가능하게 하는 것.
• 자원이 제한된 환경을 위한 소형 고정확도 딥 뉴럴 네트워크를 설계하기 위한 체계적이고 재사용 가능한 방법론(‘플레이북’)을 만드는 것.
• 소형 신경망이 복잡한 컴퓨터 비전 작업에서도 더 큰 모델과 경쟁 가능한 성능을 낼 수 있는지 입증하는 것.

제안 방법

• 저자들은 파라미터 수를 줄이면서도 표현 능력을 유지하기 위해 스위치 및 확장 컨볼루션으로 구성된 파이어 모듈 아키텍처를 사용한다.
• 과도한 필터와 뉴런을 제거하기 위해 반복적 프루닝을 적용하여 정확도 손실이 크지 않은 상태에서 모델 크기를 줄인다.
• 기본 컨볼루션을 대체하기 위해 딥웨이즈 분리형 컨볼루션을 사용하여 계산량과 파라미터 수를 크게 감소시킨다.
• 정확도 손실을 최소화하면서 모델 압축 과정을 유지하기 위해 체계적이고 반복적인 훈련 및 프루닝 전략을 적용한다.
• 메모리 프로파일 최소화와 저지연 추론 최적화와 같은 임베디드 시스템 아키텍처 원칙에 따라 설계 과정을 이끌었다.
• 최종 모델인 SqueezeNet은 성능과 효율성을 검증하기 위해 ImageNet에서 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 480KB의 모델 파라미터만을 요구하면서도 높은 정확도를 달성할 수 있는 딥 뉴럴 네트워크를 설계할 수 있는가?
• RQ2 임베디드 프로세서 설계 원칙을 딥 뉴럴 네트워크 아키텍처 설계에 효과적으로 적용할 수 있는가?
• RQ3 어떤 아키텍처적 및 압축 기법이 정확도를 훼손하지 않으면서도 모델 크기를 극적으로 줄일 수 있는가?
• RQ4 소형 신경망은 실질적인 임베디드 환경에 구현하기에 충분히 정확하고 효율적인가?
• RQ5 소형 고성능 신경망을 설계하기 위한 체계적인 방법론을 어떻게 수립할 수 있는가?

주요 결과

• SqueezeNet는 모델 파라미터가 480KB에 불과함에도 불구하고 ImageNet 검증 정확도에서 상위 1위는 56.4%, 상위 5위는 78.5%를 기록했다.
• AlexNet보다 510배 작지만 정확도는 유사하여 극도로 높은 파라미터 효율성을 입증했다.
• 파이어 모듈과 딥웨이즈 분리형 컨볼루션의 사용으로 표준 CNN 대비 파라미터 수가 98% 이상 감소했다.
• 반복적 프루닝과 체계적 훈련 전략을 통해 모델 압축 과정 중에도 정확도를 유지할 수 있었으며, 성능 저하가 최소화되었다.
• 제안된 설계 방법론은 임베디드 시스템에 최적화된 소형 효율적 딥 뉴럴 네트워크를 설계하기 위한 재사용 가능한 플레이북을 형성한다.
• 결과적으로 소형 신경망이 자원이 제한된 환경에서 정확하고 실용적인 구현이 가능하다는 점이 입증되었다.