[논문 리뷰] $\mu$NAS: Constrained Neural Architecture Search for Microcontrollers.

Edgar Liberis, Łukasz Dudziak외 1명|arXiv (Cornell University)|2020. 10. 27.

Advanced Neural Network Applications참고 문헌 41인용 수 5

한 줄 요약

µNAS는 마이크로컨트롤러(MCU)를 위해 특별히 설계된 신경망 아키텍처 탐색 시스템으로, RAM, 영구 저장소, 추론 속도 제약을 명시적으로 고려한다. 높은 해상도의 탐색 공간과 정확한 자원 추정, 진화적 탐색을 통해 이전의 MCU 최적화 모델 대비 최대 4.8% 높은 정확도 또는 13배 작아진 메모리 포트폴리오를 달성한다.

ABSTRACT

IoT devices are powered by microcontroller units (MCUs) which are extremely resource-scarce: a typical MCU may have an underpowered processor and around 64 KB of memory and persistent storage, which is orders of magnitude fewer computational resources than is typically required for deep learning. Designing neural networks for such a platform requires an intricate balance between keeping high predictive performance (accuracy) while achieving low memory and storage usage and inference latency. This is extremely challenging to achieve manually, so in this work, we build a neural architecture search (NAS) system, called $\\mu$NAS, to automate the design of such small-yet-powerful MCU-level networks. $\\mu$NAS explicitly targets the three primary aspects of resource scarcity of MCUs: the size of RAM, persistent storage and processor speed. $\\mu$NAS represents a significant advance in resource-efficient models, especially for "mid-tier" MCUs with memory requirements ranging from 0.5 KB to 64 KB. We show that on a variety of image classification datasets $\\mu$NAS is able to (a) improve top-1 classification accuracy by up to 4.8%, or (b) reduce memory footprint by 4--13x, or (c) reduce the number of multiply-accumulate operations by at least 2x, compared to existing MCU specialist literature and resource-efficient models.

연구 동기 및 목표

• 제한된 RAM, 플래시 메모리, 처리 능력을 가진 자원 제약이 있는 마이크로컨트롤러(MCU)에 정확하고 효율적인 신경망을 구현하는 데 도전하는 것.
• 기존의 NAS 및 모델 압축 기법은 일반적으로 모바일 또는 GPU 플랫폼을 대상으로 설계되어 있으며, MCU 수준의 제약 조건으로는 확장되지 못하므로 이러한 한계를 극복하는 것.
• 마이크로컨트롤러의 세 가지 주요 자원 병목 현상인 RAM, 영구 저장소, 추론 지연 시간을 명시적으로 모델링하고 최적화하는 NAS 시스템을 개발하는 것.
• 최대 64KB의 SRAM과 플래시 메모리를 가진 '중급' MCU에 배포 가능한 작고 정확도가 높은 신경망 아키텍처를 발견할 수 있도록 하는 것.

제안 방법

• MCU 효율성과 관련된 세부적인 아키텍처 선택, 즉 레이어 유형, 깊이, 너비, 연결성 등을 반영하는 매우 세밀한 신경망 아키텍처 탐색 공간을 설계한다.
• 진화적 국소 탐색 알고리즘인 에이징 진화(aging evolution, AE)를 사용하여 탐색 공간을 효율적으로 탐색하면서도 인구 집단의 다양성을 유지하고 조기 수렴을 방지한다.
• 탐색 중에 RAM, 플래시 메모리, 곱셈-누적(MAC) 연산에 대한 각 레이어별 정확한 자원 사용 추정을 통합하여 아키텍처 선택을 안내한다.
• 정확도 손실이 크지 않은 범위에서 모델 프루닝을 후처리 단계로 적용하여 추가로 모델 크기와 MAC 연산을 줄인다.
• 정확도, 모델 크기, 추론 속도를 균형 있게 조절하기 위해 스칼라화된 다목적 최적화를 사용한다.
• 모듈러한 설계를 통해 검색 알고리즘, 압축 기법, 자원 추정기 등 컴포넌트를 독립적으로 교체할 수 있도록 하여 검색 효율성을 높인다.

실험 결과

연구 질문

• RQ1 RAM, 영구 저장소, 추론 속도와 같은 극한의 자원 제약을 효과적으로 탐색하고 최적화할 수 있는 NAS 시스템을 설계할 수 있는가?
• RQ2 정확한 자원 추정과 함께 매우 세밀한 탐색 공간을 사용할 경우, MCU 배포에 적합한 모델 품질에 어떤 영향을 미치는가?
• RQ3 형태학적 변형(예: 에이징 진화)을 적용한 진화적 탐색이 복잡하고 세밀한 탐색 공간을 효율적으로 탐색하여 작고 정확도가 높은 모델을 발견할 수 있는가?
• RQ4 µNAS는 MCU 플랫폼에서 기존의 모델 압축 및 NAS 기법에 비해 정확도, 모델 크기, MAC 연산 측면에서 어느 정도 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 CIFAR-10 대비 MNIST와 같이 데이터셋의 복잡성이 증가함에 따라 µNAS의 검색 효율성은 어떻게 변화하는가?

주요 결과

• MNIST에서 µNAS는 0.5KB 미만의 파라미터를 가진 프루닝된 밀집 모델을 발견하여 초소형 모델의 실현 가능성을 입증했다.
• 다양한 이미지 분류 데이터셋에서 기존의 MCU 전용 모델 및 문헌 기반 기준 모델 대비 최대 4.8% 높은 상위-1 정확도를 향상시켰다.
• 기존의 자원 효율적인 모델 및 MCU 문헌 기반 모델 대비 모델의 메모리 포트폴리오를 4~13배 줄였다.
• 기존 모델 대비 최소 2배 이상의 곱셈-누적(MAC) 연산을 감소시켜 추론 효율성이 향상됨을 나타냈다.
• 검색 과정은 느리게 진행되었지만(8000단계, CIFAR-10 기준 약 40 GPU일), 점진적으로 파레토 최적 해를 향해 진전되어 더 긴 검색 시간이 더 향상된 결과를 낳을 잠재성을 보였다.
• µNAS의 모듈러한 설계 덕분에 검색 알고리즘, 압축 기법, 자원 추정기 등의 컴포넌트를 재사용할 수 있어 향후 다른 실행 전략이나 하드웨어 타겟에의 적응이 가능하다.