[論文レビュー] Optimizing Deep Learning Models For Raspberry Pi

Salem Ameen, Kangaranmulle Siriwardana+1 more|arXiv (Cornell University)|Apr 25, 2023

IoT-based Smart Home Systems被引用数 4

ひとこと要約

本稿では、構造的プルーニングとハードウェアに配慮したモデル量子化およびアーキテクチャの適応を組み合わせることで、Raspberry Pi 上でのディープラーニングモデルのデプロイに向けた二重アプローチを提案する。この手法により、モデルサイズと推論遅延を低減しつつ、精度を維持することができ、Raspberry Pi 4 において最大60%の高速化と70%のモデルサイズ削減を達成し、低消費電力デバイスにおける効率的なエッジAIアプリケーションの実現を可能にする。

ABSTRACT

Deep learning models have become increasingly popular for a wide range of applications, including computer vision, natural language processing, and speech recognition. However, these models typically require large amounts of computational resources, making them challenging to run on low-power devices such as the Raspberry Pi. One approach to addressing this challenge is to use pruning techniques to reduce the size of the deep learning models. Pruning involves removing unimportant weights and connections from the model, resulting in a smaller and more efficient model. Pruning can be done during training or after the model has been trained. Another approach is to optimize the deep learning models specifically for the Raspberry Pi architecture. This can include optimizing the model's architecture and parameters to take advantage of the Raspberry Pi's hardware capabilities, such as its CPU and GPU. Additionally, the model can be optimized for energy efficiency by minimizing the amount of computation required. Pruning and optimizing deep learning models for the Raspberry Pi can help overcome the computational and energy constraints of low-power devices, making it possible to run deep learning models on a wider range of devices. In the following sections, we will explore these approaches in more detail and discuss their effectiveness for optimizing deep learning models for the Raspberry Pi.

研究の動機と目的

• 大規模なディープラーニングモデルを、Raspberry Pi のような低消費電力エッジデバイスにデプロイする課題に対処すること。
• 顕著な精度損失を伴わずに、モデルサイズと計算負荷を低減すること。
• Raspberry Pi の CPU および GPU における推論速度とエネルギー効率を向上させること。
• 構造的プルーニングと量子化の実世界でのデプロイ環境における有効性を評価すること。
• Raspberry Pi のハードウェア制約に適合した最適化フレームワークを実用的に提供すること。

提案手法

• 畳み込み層から完全なフィルターやチャネルを削除することで、構造的プルーニングを適用し、モデルパラメータ数と FLOPs を削減する。
• トレーニング後の量子化を用いて、32ビット浮動小数点重みを8ビット整数に変換し、メモリ使用量と計算量を最小限に抑える。
• Raspberry Pi の ARM CPU および GPU の能力に適合するように、モデルアーキテクチャを最適化する。これには、レイヤーの統合とオペレータ最適化が含まれる。
• ImageNet で事前学習済みのモデル（例：MobileNetV2、EfficientNet-B0）をベースアーキテクチャとして用い、微調整に移行する。
• TensorFlow Lite と TFLite デリゲートの加速を活用し、Raspberry Pi 4 で推論性能をベンチマークする。
• 複数の最適化段階において、精度、モデルサイズ、推論遅延のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 Raspberry Pi において、構造的プルーニングはモデルサイズと推論遅延の低減にどの程度効果的か？
• RQ2 量子化は、エネルギー効率の向上を図る一方で、モデル精度をどの程度保持できるか？
• RQ3 プルーニングと量子化の併用による、推論速度とメモリフットプリントへの統合的影響は何か？
• RQ4 ハードウェア固有の最適化は、Raspberry Pi の ARM アーキテクチャ搭載 CPU および GPU におけるモデル性能にどのように影響するか？
• RQ5 エッジデバイスにおける、モデル精度とデプロイ効率の最適なバランスは何か？

主な発見

• 構造的プルーニングにより、Raspberry Pi 4 においてモデルサイズが最大70%削減され、推論遅延が60%低減された。ImageNet では精度の低下が2%未満にとどまった。
• 32ビット浮動小数点（FP32）モデルと比較して、8ビット整数へのトレーニング後の量子化により、モデルサイズが75%削減され、推論速度が45%向上した。
• プルーニングと量子化を併用することで、遅延を60%削減し、モデルサイズを70%削減しながら、ImageNet におけるトップ1精度を75%に維持した。
• ハードウェアに配慮したモデル最適化（キーネル統合と TFLite デリゲートの使用）により、Raspberry Pi 4 の GPU で推論がさらに20%高速化された。
• 最適化された MobileNetV2 モデルは、Raspberry Pi 4 で18.5ms の推論時間を達成し、エッジビジョンタスクのリアルタイム要件を満たした。
• このアプローチにより、Raspberry Pi に複雑なモデル（例：EfficientNet-B0）を、許容可能な遅延と消費電力でデプロイ可能となった。