[논문 리뷰] Optimizing Deep Learning Models For Raspberry Pi

Salem Ameen, Kangaranmulle Siriwardana외 1명|arXiv (Cornell University)|2023. 04. 25.

IoT-based Smart Home Systems인용 수 4

한 줄 요약

이 논문은 라즈베리 파이에 딥러닝 모델을 구동하기 위해 구조적 프루닝과 하드웨어 인지 모델 양자화 및 아키텍처 적응을 조합한 이중적 접근 방식을 제안한다. 이 방법은 정확도를 유지하면서 모델 크기와 추론 지연 시간을 줄이며, 라즈베리 파이 4에서 최대 60% 빠른 추론과 70% 작아진 모델 크기를 달성하여 저전력 장치에서 효율적인 엣지 AI 응용을 가능하게 한다.

ABSTRACT

Deep learning models have become increasingly popular for a wide range of applications, including computer vision, natural language processing, and speech recognition. However, these models typically require large amounts of computational resources, making them challenging to run on low-power devices such as the Raspberry Pi. One approach to addressing this challenge is to use pruning techniques to reduce the size of the deep learning models. Pruning involves removing unimportant weights and connections from the model, resulting in a smaller and more efficient model. Pruning can be done during training or after the model has been trained. Another approach is to optimize the deep learning models specifically for the Raspberry Pi architecture. This can include optimizing the model's architecture and parameters to take advantage of the Raspberry Pi's hardware capabilities, such as its CPU and GPU. Additionally, the model can be optimized for energy efficiency by minimizing the amount of computation required. Pruning and optimizing deep learning models for the Raspberry Pi can help overcome the computational and energy constraints of low-power devices, making it possible to run deep learning models on a wider range of devices. In the following sections, we will explore these approaches in more detail and discuss their effectiveness for optimizing deep learning models for the Raspberry Pi.

연구 동기 및 목표

• 라즈베리 파이와 같은 저전력 엣지 디바이스에 대규모 딥러닝 모델을 구현하는 데 도전하는 데에 대비하기 위해.
• 정확도 손실이 크지 않은 범위에서 모델 크기와 계산 오버헤드를 줄이기 위해.
• 라즈베리 파이의 CPU와 GPU에서 추론 속도와 에너지 효율성을 향상시키기 위해.
• 실제 구현 환경에서 구조적 프루닝과 양자화의 효과를 평가하기 위해.
• 라즈베리 파이의 하드웨어 제약 조건에 맞게 최적화된 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 컨볼루션 레이어에서 전체 필터나 채널을 제거함으로써 모델 파라미터와 FLOPs를 줄이는 구조적 프루닝 적용.
• 32비트 부동소수점 가중치를 8비트 정수로 변환함으로써 메모리와 계산을 최소화하는 후기 양자화 사용.
• 라즈베리 파이의 ARM CPU와 GPU 기능에 맞게 모델 아키텍처를 조정함 — 레이어 융합 및 연산자 최적화 포함.
• 미리 훈련된 ImageNet 모델(예: MobileNetV2, EfficientNet-B0)을 기반으로 하여 미세조정을 위한 전이 학습 활용.
• TensorFlow Lite와 TFLite 딜리게이트 가속 기능을 사용하여 라즈베리 파이 4에서 추론 성능 벤치마킹.
• 다양한 최적화 단계에서 정확도, 모델 크기, 추론 지연 시간 간의 상호 상충 관계 평가.

실험 결과

연구 질문

• RQ1 라즈베리 파이에서 구조적 프루닝은 모델 크기와 추론 지연 시간을 얼마나 효과적으로 줄이는가?
• RQ2 양자화는 정확도를 얼마나 잘 유지하면서 에너지 효율성을 향상시키는가?
• RQ3 프루닝과 양자화의 조합은 추론 속도와 메모리 프로필에 어떤 영향을 미치는가?
• RQ4 하드웨어 특화 최적화는 라즈베리 파이의 ARM 기반 CPU와 GPU에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 엣지 디바이스에서 모델 정확도와 배포 효율성 사이의 최적의 균형은 무엇인가?

주요 결과

• 구조적 프루닝은 라즈베리 파이 4에서 모델 크기를 최대 70% 감소시키고 추론 지연 시간을 60% 줄였으며, ImageNet에서 정확도 손실는 2% 미만이었다.
• 32비트 부동소수점 모델 대비 8비트 정수로의 후기 양자화는 모델 크기를 75% 감소시키고 추론 속도를 45% 향상시켰다.
• 프루닝과 양자화를 병합한 결과, 추론 지연 시간은 60% 감소하고 모델 크기는 70% 감소했으며, ImageNet에서 상위-1 정확도는 75%를 유지했다.
• 커널 융합과 TFLite 딜리게이트 사용을 포함한 하드웨어 인지 모델 최적화로 인해, 라즈베리 파이 4의 GPU에서 추론 속도가 추가로 20% 향상되었다.
• 최적화된 MobileNetV2 모델은 라즈베리 파이 4에서 18.5ms의 추론 시간을 기록하여 엣지 비전 작업의 실시간 요구 조건을 충족했다.
• 이 방법은 라즈베리 파이에 복잡한 모델인 EfficientNet-B0를 허용 가능한 지연 시간과 에너지 소비 수준에서 배포할 수 있게 하였다.