[논문 리뷰] EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for Edge Devices by Network Candidate Search

Ching-Chen Wang, Ching-Te Chiu외 1명|arXiv (Cornell University)|2020. 09. 16.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 엣지 디바이스를 위한 매우 경량화된 CNN 모델인 EfficientNet-eLite를 제안하며, 자원 사용량에 따라 모델를 그룹화하고 잔류 토너먼트를 적용하여 고정확도, 저오버헤드 아키텍처를 식별하는 새로운 네트워크 후보 탐색(NCS) 방법을 사용한다. 이 방법은 MnasNet과 같은 최신 기술 모델을 능가하며, 가장 작은 EfficientNet-eLite 모델은 ImageNet에서 파arameter 수를 1.46배 줄이고 정확도를 0.56% 향상시켰다.

ABSTRACT

Embedding Convolutional Neural Network (CNN) into edge devices for inference is a very challenging task because such lightweight hardware is not born to handle this heavyweight software, which is the common overhead from the modern state-of-the-art CNN models. In this paper, targeting at reducing the overhead with trading the accuracy as less as possible, we propose a novel of Network Candidate Search (NCS), an alternative way to study the trade-off between the resource usage and the performance through grouping concepts and elimination tournament. Besides, NCS can also be generalized across any neural network. In our experiment, we collect candidate CNN models from EfficientNet-B0 to be scaled down in varied way through width, depth, input resolution and compound scaling down, applying NCS to research the scaling-down trade-off. Meanwhile, a family of extremely lightweight EfficientNet is obtained, called EfficientNet-eLite. For further embracing the CNN edge application with Application-Specific Integrated Circuit (ASIC), we adjust the architectures of EfficientNet-eLite to build the more hardware-friendly version, EfficientNet-HF. Evaluation on ImageNet dataset, both proposed EfficientNet-eLite and EfficientNet-HF present better parameter usage and accuracy than the previous start-of-the-art CNNs. Particularly, the smallest member of EfficientNet-eLite is more lightweight than the best and smallest existing MnasNet with 1.46x less parameters and 0.56% higher accuracy. Code is available at https://github.com/Ching-Chen-Wang/EfficientNet-eLite

연구 동기 및 목표

• IoT 및 웨어러블 시스템과 같은 자원 제약이 있는 엣지 디바이스에 무거운 CNN 모델을 구현하는 데 도전하는 것.
• EfficientNet-B0를 축소할 때 모델 효율성(파라미터 수, FLOPs)과 정확도 사이의 트레이드오���을 탐색하는 것.
• 엣지 추론에 적합한 경량화되고 고정확도를 갖춘 CNN 아키텍처를 체계적으로 식별하는 방법을 개발하는 것.
• ASIC를 위한 아키텍처 조정을 통해 하드웨어 친화적인 변형(EfficientNet-HF)을 설계하여 하드웨어 호환성을 향상시키는 것.
• 그룹화 및 잔류 토너먼트 전략을 도입하여 신경망 아키텍처 탐색의 검색 비용과 학습 부담을 줄이는 것.

제안 방법

• 네트워크 후보 탐색(NCS)은 두 단계 과정으로 구성되며, 유사한 파라미터 수와 FLOPs를 갖는 모델을 그룹화하고, 이후 상위 성능 후보를 선별하기 위해 잔류 토너먼트를 수행한다.
• 후보들은 너비, 깊이, 입력 해상도, 복합 스케일링을 통해 EfficientNet-B0를 축소하여 생성되며, 원래 EfficientNet의 비율을 유지한다.
• 유사한 자원 사용량(파라미터 수 및 FLOPs)을 기반으로 모델를 그룹화하여 각 그룹 내에서 공정한 비교를 보장한다.
• 잔류 토너먼트는 학습 중 평균 정확도를 사용하여 최종 성능을 예측하는 데 사용되며, 이는 조기 종료를 가능하게 하고 GPU 비용을 줄인다.
• 입력 해상도를 128×128 또는 256×256로 조정하고 복합 채널 반올림을 적용하여 채널 수를 2의 거듭제곱으로 만듦으로써 하드웨어 친화적인 변형(EfficientNet-HF)을 생성한다.
• 복합 채널 반올림(식 7)은 구조적 왜곡을 최소화하면서도 2의 거듭제곱 채널 수를 유지하기 위해 올림 또는 내림 중 하나를 선택한다.

실험 결과

연구 질문

• RQ1 EfficientNet에서 너비, 깊이, 입력 해상도를 축소할 때 정확도와 효율성의 트레이드오프에 어떤 영향을 미치는가?
• RQ2 네트워크 후보 탐색(NCS)과 같은 체계적인 탐색 방법이 높은 정확도와 낮은 자원 사용량을 갖는 경량 CNN 모델을 효과적으로 식별할 수 있는가?
• RQ3 EfficientNet를 축소할 때 입력 해상도, 너비, 깊이 중 어느 요소가 성능에 더 큰 영향을 미치는가?
• RQ4 정확도를 손상시키지 않은 채 ASIC 배포를 위해 CNN 아키텍처를 어떻게 더 하드웨어 친화적으로 만들 수 있는가?
• RQ5 제안된 NCS 방법이 EfficientNet 이외의 다양한 신경망 유형으로도 일반화 가능한가?

주요 결과

• 가장 작은 EfficientNet-eLite 모델은 최고의 최소 크기 MnasNet보다 파라미터 수를 1.46배 줄이고 ImageNet에서 Top-1 정확도를 0.56% 높였다.
• EfficientNet-eLite 9는 MobileNet V3 Large 1.0보다 더 높은 정확도를 달성했지만, 파라미터 수는 378만 개, FLOPs는 29688만으로 훨씬 적게 사용했다.
• 유사한 자원 제약 조건에서 더 높은 입력 해상도(r₁ 또는 r₂)를 가진 모델가 항상 다른 모델보다 뛰어나며, 이는 스케일링 중에 입력 정보가 너비나 깊이보다 더 중요한 역할을 한다는 것을 시사한다.
• 평균 정확도를 선택 기준으로 사용한 잔류 토너먼트는 최종 모델 성능을 효과적으로 예측하여 GPU 학습 비용을 줄였다.
• 128×128 및 256×256 입력 해상도를 갖는 EfficientNet-HF 모델은 2의 거듭제곱 특징 맵 크기와 효율적인 연산을 통해 하드웨어 호환성이 향상되었다.
• ImageNet에서 EfficientNet-eLite 및 EfficientNet-HF는 이전의 최신 기술 모델보다 더 높은 파라미터 효율성과 더 높은 정확도를 달성했으며, 그림 1 및 그림 7에서 이를 확인할 수 있다.