[論文レビュー] EdgeCNN: Convolutional Neural Network Classification Model with small inputs for Edge Computing

Shunzhi Yang, Zheng Gong+4 more|arXiv (Cornell University)|Sep 30, 2019

IoT and Edge/Fog Computing参考文献 40被引用数 11

ひとこと要約

本稿では、メモリや処理能力が限られたエッジコンピューティングデバイス（例：Raspberry Pi 3B+）を想定し、軽量な畳み込みニューラルネットワークであるEdgeCNNを提案する。グループ畳み込みを避けることで、従来のモバイル最適化モデルで一般的に用いられる手法とは異なり、Raspberry Pi上で1.37 FPSの推論速度を達成しながら、FER-2013およびRAF-DBデータセットを用いた顔の感情分類タスクで他のモデルを上回る精度を実現した。

ABSTRACT

With the development of Internet of Things (IoT), data is increasingly appearing on the edge of the network. Processing tasks on the edge of the network can effectively solve the problems of personal privacy leaks and server overload. As a result, it has attracted a great deal of attention and made substantial progress. This progress includes efficient convolutional neural network (CNN) models such as MobileNet and ShuffleNet. However, all of these networks appear as a common network model and they usually need to identify multiple targets when applied. So the size of the input is very large. In some specific cases, only the target needs to be classified. Therefore, a small input network can be designed to reduce computation. In addition, other efficient neural network models are primarily designed for mobile phones. Mobile phones have faster memory access, which allows them to use group convolution. In particular, this paper finds that the recently widely used group convolution is not suitable for devices with very slow memory access. Therefore, the EdgeCNN of this paper is designed for edge computing devices with low memory access speed and low computing resources. EdgeCNN has been run successfully on the Raspberry Pi 3B+ at a speed of 1.37 frames per second. The accuracy of facial expression classification for the FER-2013 and RAF-DB datasets outperforms other proposed networks that are compatible with the Raspberry Pi 3B+. The implementation of EdgeCNN is available at https://github.com/yangshunzhi1994/EdgeCNN

研究の動機と目的

• 計算資源およびメモリリソースが限られたエッジデバイスへのディープラーニングモデルのデプロイという課題に対処すること。
• モバイル最適化ネットワークで広く用いられているグループ畳み込みが、Raspberry Pi 3B+のようなメモリ帯域が遅いエッジデバイスでは非効率であることを特定すること。
• 小規模な入力サイズ（44×44）を想定し、特定ターゲット分類に特化した新しいCNNアーキテクチャ、EdgeCNNを設計すること。
• 特にRaspberry Pi 3B+のようなリソース制限のあるエッジハードウェアで高い精度と許容可能な推論速度を達成すること。
• ターゲットデバイスの実際のメモリアクセス特性に基づいて、モデル効率を再評価する必要があることを示すこと。FLOPsやパラメータ数だけでなく、メモリ帯域幅の影響も考慮すべきである。

提案手法

• 単一ターゲット分類を想定し、44×44という小さな入力サイズを採用したEdgeCNNを設計。マルチオブジェクト検出を目的としたものではない。
• Raspberry Pi 3B+のようなメモリ帯域が遅いデバイスでは、メモリアクセスのオーバーヘッドを低減するため、EdgeCNNではグループ畳み込みを回避した。
• 同じハードウェア制約下でのパフォーマンストレードオフを比較するため、グループ畳み込みを採用する変種であるEdgeCNN-Gを実装した。
• 顔の感情認識データセット（FER-2013およびRAF-DB）を用いてモデルを学習・評価し、精度と推論速度を評価した。
• Raspberry Pi 3B+上で実際の推論速度（FPS）とメモリ使用量を測定し、実用的なデプロイ可能性を評価した。
• OpenVINOツールキットおよびIntel Movidius NCS 2を用いて速度向上を検討したが、特徴量検出機能のサポート欠如により、ハードウェア制限が生じた。

実験結果

リサーチクエスチョン

• RQ1 計算リソースおよびメモリリソースが最小限のエッジデバイスでも高い精度を達成できるCNNモデルを設計できるか？
• RQ2 モバイル最適化モデルで一般的に用いられるグループ畳み込みが、メモリアクセスが遅いエッジデバイス（例：Raspberry Pi 3B+）ではなぜ性能が劣るのか？
• RQ3 入力サイズを44×44に短縮することで、単一ターゲット分類タスクにおけるモデルの精度と効率にどのような影響が生じるか？
• RQ4 メモリアクセスが遅いデバイスを想定して最適化されたモデルは、同様のハードウェア上でMobileNet や ShuffleNet といったモバイル最適化モデルを上回る性能を発揮できるか？
• RQ5 特徴量検出が必須である場合、Intel Movidius NCS 2 といったアクセラレータハードウェアをエッジ推論に使用する際の実用的制限は何か？

主な発見

• EdgeCNNはRaspberry Pi 3B+で1.37 FPSの推論速度を達成し、リアルタイムなエッジデプロイの可能性を示した。
• FER-2013およびRAF-DBの顔の感情分類データセットにおいて、Raspberry Pi 3B+と互換性のある他のモデルと比較して、EdgeCNNは両方のデータセットで高い精度を達成した。
• Raspberry Pi 3B+のメモリアクセス速度（22.61 MB/s）は、一般的なスマートフォン（222.26 MB/s）の1/10に過ぎず、この遅さがグループ畳み込みの性能劣化を引き起こしている。
• グループ畳み込みを採用するEdgeCNN-Gは、同じハードウェア上での性能がEdgeCNNより劣っており、グループ畳み込みが低メモリアクセス帯域のエッジデバイスには不適切であることを裏付けた。
• SqueezeNet や SqueezeNext はグループ畳み込みを避けており、高速ではあるが精度が低く、速度と性能のトレードオフが顕著に現れている。
• Intel Movidius NCS 2 は、特徴量検出機能のサポート欠如のため、EdgeCNNの加速には使用できず、このモデルへの適用可能性が制限された。