[논문 리뷰] Fast and Energy-Efficient CNN Inference on IoT Devices

Mohammad Motamedi, Daniel Fong외 1명|arXiv (Cornell University)|2016. 11. 22.

Advanced Neural Network Applications참고 문헌 7인용 수 9

한 줄 요약

이 논문은 모바일 GPU에서 빠르고 에너지 효율적인 CNN 추론을 위한 RenderScript 기반 병렬화 기법을 제안하며, 기기별 하드웨어에 최적화하고 혼합 정밀도 계산을 사용한다. 순차적 실행 대비 최대 310.74배의 성능 향상과 최대 249.47배의 에너지 소비 감소를 달성하여, 세 가지 다양한 모바일 플랫폼에서 이미지당 0.6J 미만의 에너지 소비로 실시간 온디바이스 추론을 가능하게 한다.

ABSTRACT

Convolutional Neural Networks (CNNs) exhibit remarkable performance in various machine learning tasks. As sensor-equipped internet of things (IoT) devices permeate into every aspect of modern life, it is increasingly important to run CNN inference, a computationally intensive application, on resource constrained devices. We present a technique for fast and energy-efficient CNN inference on mobile SoC platforms, which are projected to be a major player in the IoT space. We propose techniques for efficient parallelization of CNN inference targeting mobile GPUs, and explore the underlying tradeoffs. Experiments with running Squeezenet on three different mobile devices confirm the effectiveness of our approach. For further study, please refer to the project repository available on our GitHub page: https://github.com/mtmd/Mobile_ConvNet

연구 동기 및 목표

• 자원이 제한된 IoT 및 모바일 기기에서 실시간이고 에너지 효율적인 CNN 추론을 가능하게 하기 위해.
• 고비용의 에너지 소비, 네트워크 연결 의존성, 개인정보 문제를 포함한 클라우드 기반 추론의 한계를 해결하기 위해.
• RenderScript를 통한 이종 컴퓨팅을 활용해 모바일 GPU에서의 CNN 추론 성능을 최적화하기 위해.
• 병렬화 및 정밀도 설정에 대한 기기 및 레이어별 최적의 설계 파rameter를 규명하기 위해.
• 250ms 이내의 지연 시간과 0.6J 이하의 에너지 소비로 온디바이스 SqueezeNet 추론의 실현 가능성을 입증하기 위해.

제안 방법

• 모바일 SoC의 CPU 및 GPU 코어에 걸쳐 CNN 계산을 분산하기 위해 Android의 RenderScript 프레임워크를 사용한다.
• 각 출력 특징 맵 요소가 별도의 스레드에 의해 계산되는 스레드 수준의 병렬화 전략을 구현한다.
• 스트라이드 제어 기능을 갖춘 3D 컨볼루션 커널을 사용해 입력 특징 맵과 필터 범주를 효율적으로 처리한다.
• 계산 부담과 메모리 대역폭을 줄이기 위해 단정밀도 및 반정밀도 계산을 혼합 적용한다.
• 기기별 최적화를 통해 각 플랫폼과 CNN 레이어에 맞는 블록 크기, 스레드 수, 정밀도 모드를 선택한다.
• 실제 환경 조건에서 정확한 전력 및 에너지 측정을 위해 Trepn 프로파일러를 사용한다.

실험 결과

연구 질문

• RQ1 모바일 GPU에서 에너지 소비를 최소화하면서 CNN 추론을 어떻게 가속화할 수 있는가?
• RQ2 다양한 모바일 GPU 아키텍처에 적합한 최적의 병렬화 및 정밀도 트레이드오프는 무엇인가?
• RQ3 혼합 정밀도 계산은 성능 향상에 기여하면서도 정확도를 유지할 수 있는가?
• RQ4 다양한 모바일 플랫폼에서 병렬 추론의 에너지 효율성은 순차적 실행 대비 어떻게 비교되는가?
• RQ5 온디바이스 CNN 추론은 IoT 기기에서 실시간 응용 프로그램에 얼마나 실현 가능하게 만들 수 있는가?

주요 결과

• 제안된 병렬 알고리즘은 세 대의 모바일 기기에서 순차적 구현 대비 최소 59.54배, 최대 310.74배의 성능 향상을 달성한다.
• 에너지 소비는 최대 249.47배 감소했으며, 플랫폼 간 이미지당 에너지 소비는 0.106J에서 0.569J 사이로 변동한다.
• 실행 시간이 250ms 이내(넥서스 6P 기준 129.21ms)이고 에너지 소비가 0.6J 이하인 온디바이스 추론은 실시간 응용 프로그램을 가능하게 한다.
• 정확도가 낮은(반정밀도) 계산은 정밀도가 높은(단정밀도) 병렬 실행 대비 실행 시간을 2.11배에서 4.16배까지 줄인다.
• 넥서스 5는 낮은 GPU 클럭 속도와 오래된 더 효율적인 칩셋 아키텍처 덕분에 병렬 모드에서 더 낮은 전력 소비를 보였다.
• 블록 크기 및 정밀도를 포함한 최적의 설계 파rameter는 기기와 CNN 레이어 간에 크게 다름에 따라 기기별 최적화가 필수적이다.