[논문 리뷰] FD-MobileNet: Improved MobileNet with a Fast Downsampling Strategy

Zheng Qin, Zhang Zhao-ning외 2명|arXiv (Cornell University)|2018. 02. 11.

Advanced Neural Network Applications참고 문헌 18인용 수 14

한 줄 요약

FD-MobileNet은 극도로 낮은 계산 자원(10–140 MFLOPs)에서 MobileNet 아키텍처 내에서 빠른 다운샘플링 전략을 제안하여 효율성과 정확도를 크게 향상시킨다. 기존 MobileNet의 절반에 해당하는 12층 내에 32배의 공간 다운샘플링을 수행함으로써 특징 맵의 채널 용량을 증가시키고 FLOPs를 감소시키며, 더 빠른 추론을 가능하게 한다. 이로 인해 12 MFLOPs에서 MobileNet보다 5.5% 높은 top-1 정확도를 달성했고, ARM 기반 장치에서 ShuffleNet 대비 1.82배 더 빠른 추론 속도를 확보하였다.

ABSTRACT

We present Fast-Downsampling MobileNet (FD-MobileNet), an efficient and accurate network for very limited computational budgets (e.g., 10-140 MFLOPs). Our key idea is applying an aggressive downsampling strategy to MobileNet framework. In FD-MobileNet, we perform 32$ imes$ downsampling within 12 layers, only half the layers in the original MobileNet. This design brings three advantages: (i) It remarkably reduces the computational cost. (ii) It increases the information capacity and achieves significant performance improvements. (iii) It is engineering-friendly and provides fast actual inference speed. Experiments on ILSVRC 2012 and PASCAL VOC 2007 datasets demonstrate that FD-MobileNet consistently outperforms MobileNet and achieves comparable results with ShuffleNet under different computational budgets, for instance, surpassing MobileNet by 5.5% on the ILSVRC 2012 top-1 accuracy and 3.6% on the VOC 2007 mAP under a complexity of 12 MFLOPs. On an ARM-based device, FD-MobileNet achieves 1.11$ imes$ inference speedup over MobileNet and 1.82$ imes$ over ShuffleNet under the same complexity.

연구 동기 및 목표

• 극도로 낮은 계산 예산(10–140 MFLOPs)에서 넓이가 좁아 정보 용량이 제한되는 MobileNet의 성능 붕괴 문제를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 이동 및 임베디드 장치에서 추론 속도와 정확도를 향상시키기 위해.
• 계산 예산이 제한된 환경에서 MobileNet의 느린 다운샘플링이 성능을 제한하는 문제를 해결하기 위해.
• 최신 기술 대비 더 빠른 실제 추론 속도를 확보하면서도 높은 정확도를 유지하는 컴act한 네트워크 설계를 위해.

제안 방법

• 기존 MobileNet의 24층 대비 12층 내에 32배의 공간 차원 감소를 달성하는 빠른 다운샘플링 전략을 도입한다.
• 빠른 다운샘플링 이후 깊이 분리형 컨벌루션을 적용하여 표현 능력을 유지하면서도 FLOPs를 감소시킨다.
• 같은 FLOP 예산 내에서 초기 레이어의 채널 수를 증가시켜 정보 용량을 향상시킨다.
• 추론 시 메모리 및 캐시 활용 효율성을 보장하기 위해 MobileNet의 단순한 스택 아키텍처를 유지한다.
• 특징 맵 감소를 조기에 가속화하는 수정된 네트워크 설계를 통해 깊은 레이어가 공간 계산을 줄이고 고수준 표현에 집중할 수 있도록 한다.
• NCNN 추론 프레임워크를 활용해 ARM 기반 장치에서 실제 추론 속도를 최적화한다.

실험 결과

연구 질문

• RQ1 극도로 낮은 계산 예산(10–140 MFLOPs)에서 빠른 다운샘플링 전략이 MobileNet의 정확도 향상에 기여할 수 있는가?
• RQ2 조기 공간 감소가 FLOPs를 증가시키지 않고도 정보 용량과 성능을 향상시킬 수 있는가?
• RQ3 실제 ARM 기반 이동 장치에서 FD-MobileNet의 실제 추론 속도가 MobileNet 및 ShuffleNet과 비교해 어떻게 되는가?
• RQ4 FD-MobileNet은 PASCAL VOC 2007과 같은 전이 학습 작업(예: 객체 검출)에서 강력한 일반화 능력을 유지할 수 있는가?
• RQ5 ShuffleNet은 FLOP 수준이 유사함에도 불구하고 실질적으로 성능이 저하되는 이유는 무엇이며, 더 단순한 아키텍처가 이를 완화할 수 있는가?

주요 결과

• 12 MFLOPs에서 ImageNet ILSVRC 2012에서 FD-MobileNet은 MobileNet보다 5.5% 높은 top-1 정확도를 달성한다.
• PASCAL VOC 2007에서 12 MFLOPs에서 FD-MobileNet은 mAP를 MobileNet 대비 3.6% 향상시켰으며, 병아리병, 의자와 같은 어려운 클래스에서도 일관된 성능 향상을 보였다.
• ARM 기반 장치에서 FD-MobileNet은 MobileNet 대비 1.11배 빠른 추론 속도를 기록했고, ShuffleNet 대비 1.82배 더 빠르게 작동하였다.
• 140 MFLOPs에서 ShuffleNet 0.5×보다 더 높은 FLOPs를 가짐에도 불구하고, 효율적인 메모리 및 캐시 사용 덕분에 FD-MobileNet은 1.33배 더 빠른 속도를 기록하였다.
• 빠른 다운샘플링 전략은 동일한 FLOP 예산 내에서 더 높은 채널 용량을 가능하게 하여, 저복잡도 환경에서 성능 향상에 직접 기여한다.
• FD-MobileNet은 전이 학습에서 강력한 일반화 능력을 보이며, 대부분의 PASCAL VOC 2007 클래스에서 MobileNet을 초월했고, 특히 저복잡도 설정에서 두각을 나타냈다.