[논문 리뷰] AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers

Alexander Wong, Mahmoud Famouri외 1명|arXiv (Cornell University)|2020. 09. 29.

Advanced Memory and Neural ComputingEngineering인용 수 17

한 줄 요약

AttendNets는 시각적 주의 집약기—자기 주의 메커니즘으로서 공간-채널 선택적 주의를 향상시키는 것—를 사용하여 현장에서 이미지 인식을 위한 매우 효율적이고 저정밀도의 딥 뉴럴 네트워크를 도입한다. 이는 기계 기반 아키텍처 탐색과 결합되어 MobileNet-V1 대비 최대 16.7배 낮은 메모리와 3배 적은 FLOPs를 기록하며 최신 기술 수준의 정확도를 달성한다. 이는 타이니ML 응용 분야에서 정확도-복잡도의 우월한 트레이드오프를 보여준다.

ABSTRACT

While significant advances in deep learning has resulted in state-of-the-art performance across a large number of complex visual perception tasks, the widespread deployment of deep neural networks for TinyML applications involving on-device, low-power image recognition remains a big challenge given the complexity of deep neural networks. In this study, we introduce AttendNets, low-precision, highly compact deep neural networks tailored for on-device image recognition. More specifically, AttendNets possess deep self-attention architectures based on visual attention condensers, which extends on the recently introduced stand-alone attention condensers to improve spatial-channel selective attention. Furthermore, AttendNets have unique machine-designed macroarchitecture and microarchitecture designs achieved via a machine-driven design exploration strategy. Experimental results on ImageNet$_{50}$ benchmark dataset for the task of on-device image recognition showed that AttendNets have significantly lower architectural and computational complexity when compared to several deep neural networks in research literature designed for efficiency while achieving highest accuracies (with the smallest AttendNet achieving $\\sim$7.2% higher accuracy, while requiring $\\sim$3$\ imes$ fewer multiply-add operations, $\\sim$4.17$\ imes$ fewer parameters, and $\\sim$16.7$\ imes$ lower weight memory requirements than MobileNet-V1). Based on these promising results, AttendNets illustrate the effectiveness of visual attention condensers as building blocks for enabling various on-device visual perception tasks for TinyML applications.

연구 동기 및 목표

• 저전력, 현장에서 작동하는 엣지 시스템에 복잡한 딥 뉴럴 네트워크를 구현하는 데 도전하는 데에 대응하기 위해.
• 에지 배포에 맞게 조정된 새로운 자기 주의 메커니즘을 도입하여 타이니ML에서 효율성과 정확도를 향상시키기 위해.
• 작은 신경망의 마크로 및 마이크로 아키텍처를 최적화하기 위해 기계 기반 설계 탐색을 활용하기 위해.
• 시각적 주의 집약기가 기존의 효율적 아키텍처보다 정확도와 계산 효율성에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 시각적 주의 집약기(VACs)는 공간-채널 활성화에 대해 다운믹싱, 압축, 임bed딩, 확장 및 선택적 주의를 수행하는 자기 주의 모듈로, 향상된 특징 표현을 위해 도입된다.
• VAC 아키텍처는 채널 차원을 줄이는 다운믹싱 레이어, 강한 활성화 근접성을 집중시키는 압축 레이어, 주의 맵을 재구성하는 확장 레이어를 포함한다.
• 선택적 주의 메커니즘은 스케일 조절을 통해 원래 특징과 학습된 주의 값의 융합을 통해 공간-채널 선택적 정밀 조정을 가능하게 한다.
• AttendNet 아키텍처는 기계 기반 설계 탐색 전략을 통해 자동으로 최적의 마크로 및 마이크로 아키텍처 구성 설정을 도출한다.
• 저정밀도 양자화를 적용하여 모델 크기와 계산 비용을 줄여 자원 제약이 있는 엣지 장치에 배포 가능하게 한다.
• 주목 기반 특징 정밀 조정과 점단 그룹 컨벌루션 및 채널 셔플링과 같은 효율적 연산을 통합하여 FLOPs와 파라미터를 감소시킨다.

실험 결과

연구 질문

• RQ1 시각적 주의 집약기는 현장에서의 이미지 인식을 위한 컴팩트한 딥 뉴럴 네트워크의 정확도와 효율성을 크게 향상시킬 수 있는가?
• RQ2 기계 기반 설계 탐색 전략은 타이니 주의 기반 네트워크의 마크로 및 마이크로 아키텍처를 어떻게 최적화하는가?
• RQ3 자기 주의 메커니즘은 MobileNet-V1 및 MobileNet-V2와 같은 전통적인 효율성 중심 아키텍처보다 정확도와 복잡도 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ4 시각적 주의 집약기는 기존의 주의 메커니즘과 비교해 공간-채널 선택성과 계산 효율성 측면에서 어떻게 다른가?

주요 결과

• AttendNet-A는 MobileNet-V1보다 약 8.7% 높은 top-1 정확도를 기록했으며, 파라미터 수는 약 2.35배 적고, 가중치 메모리는 약 9.4배 낮고, 곱하기-덧셈 연산 수는 약 2.1배 적었다.
• 가장 작은 AttendNet은 MobileNet-V1보다 약 7.2% 높은 정확도를 기록했으며, FLOPs는 약 3배 적고, 파라미터 수는 약 4.17배 적고, 가중치 메모리는 약 16.7배 낮았다.
• AttendNet-A는 AttoNet-A보다 약 0.2% 높은 top-1 정확도를 기록했으며, 파라미터 수는 약 2.1배 적고, 메모리는 약 8.4배 낮고, FLOPs는 약 1.53배 적었다.
• 시각적 주의 집약기와 기계 기반 설계의 통합은 모든 평가 지표에서 정확도와 모델 복잡도 사이의 우월한 균형을 이끌어냈다.
• AttendNets는 뛰어난 일반화 능력과 효율성을 보이며, 실시간, 저전력 엣지 추론 작업에 적합하다.