[論文レビュー] Complexity-Driven CNN Compression for Resource-constrained Edge AI

Muhammad Zawish, Steven Davy+1 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、反復的な再訓練を経ずに、直接的にプルーニングされたモデルを訓練できる、複雑さ駆動型で計算効率の良いCNNプルーニングフレームワークを提案する。エッジデバイスへの高速デプロイを可能にし、パラメータ、FLOPs、メモリの複雑さに基づいて層を分類することで、従来のプルーニングパイプラインに比べ最大60%の高速化を達成しながら、競争力のある精度を実現する。

ABSTRACT

Recent advances in Artificial Intelligence (AI) on the Internet of Things (IoT)-enabled network edge has realized edge intelligence in several applications such as smart agriculture, smart hospitals, and smart factories by enabling low-latency and computational efficiency. However, deploying state-of-the-art Convolutional Neural Networks (CNNs) such as VGG-16 and ResNets on resource-constrained edge devices is practically infeasible due to their large number of parameters and floating-point operations (FLOPs). Thus, the concept of network pruning as a type of model compression is gaining attention for accelerating CNNs on low-power devices. State-of-the-art pruning approaches, either structured or unstructured do not consider the different underlying nature of complexities being exhibited by convolutional layers and follow a training-pruning-retraining pipeline, which results in additional computational overhead. In this work, we propose a novel and computationally efficient pruning pipeline by exploiting the inherent layer-level complexities of CNNs. Unlike typical methods, our proposed complexity-driven algorithm selects a particular layer for filter-pruning based on its contribution to overall network complexity. We follow a procedure that directly trains the pruned model and avoids the computationally complex ranking and fine-tuning steps. Moreover, we define three modes of pruning, namely parameter-aware (PA), FLOPs-aware (FA), and memory-aware (MA), to introduce versatile compression of CNNs. Our results show the competitive performance of our approach in terms of accuracy and acceleration. Lastly, we present a trade-off between different resources and accuracy which can be helpful for developers in making the right decisions in resource-constrained IoT environments.

研究の動機と目的

• CNN圧縮における従来のトレーニング-プルーニング-ファインチューニングパイプラインの高い計算コストを低減すること。
• 個々の層が寄与する複雑さ（例：パラメータ、FLOPs、メモリ）の違いを考慮しない既存のプルーニング手法の限界を克服すること。
• 再訓練やスコア付けのステップを省略し、プルーニング後のモデルを直接効率的に訓練できる仕組みを提供すること。
• 開発者に、パラメータに配慮した、FLOPsに配慮した、メモリに配慮した、3つの柔軟な圧縮モードを提供し、エッジデバイスにおける精度とリソース使用量のバランスを取れるようにすること。
• リソース豊富なデバイスとリソース制限のあるエッジプラットフォームの両方で、トレーニング効率とモデル性能を実証すること。

提案手法

• モデル全体の複雑さ（パラメータ、FLOPs、メモリ）への層レベルの寄与度に基づき、フィルタを特定・プルーニングする複雑さ駆動型プルーニングパイプラインを提案する。
• パラメータに配慮した（PA）、FLOPsに配慮した（FA）、メモリに配慮した（MA）の3つの異なるプルーニングモードを導入し、それぞれが特定のリソース制約をターゲットにする。
• フィルタランク付けとファインチューニング段階をスキップし、ランダム初期化から直接プルーニング済みモデルを訓練することで、計算コストを削減する。
• 重要度スコアや反復的最適化を必要とせず、複雑さに基づく層選択後にランダムフィルタプルーニングを実施する。
• 最大50回の反復的プルーニングを実行し、選択されたモードに応じてターゲットスパarsityを調整する。
• CIFAR-10およびCIFAR-100データセット上で、GPUおよびエッジデバイス（例：NVIDIA Jetson Nano）の両方で、標準的なトレーニングプロトコルに従い、最終的なプルーニング済みモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 フィルタランク付けとファインチューニングを回避するプルーニングパイプラインは、トレーニング時間を大幅に短縮しつつ、競争力のある精度を達成できるか？
• RQ2 VGG-16 や AlexNet などの標準的なCNNにおいて、パラメータ、FLOPs、メモリといった異なる種類のモデル複雑さが、層ごとにどのように変化するか？
• RQ3 複雑さに配慮したプルーニングモード（PA, FA, MA）は、エッジデバイスにおけるモデル精度とリソース使用量の間で、どの程度のトレードオフを可能にするか？
• RQ4 高機能ハードウェアおよびエッジハードウェアの両方で、提案手法の直接トレーニングアプローチは、従来の反復的プルーニング手法に比べてどの程度トレーニング効率が優れているか？
• RQ5 提案手法は、リソース制限のあるデバイスにおけるフェデレーテッドラーニングやインクリメンタルファインチューニングといった実用的デプロイメントシナリオをサポートできるか？

主な発見

• 従来の PLS プルーニングパイプラインと比較して、リソース豊富なGPU上で、PAモードでは50.2%、FAモードでは59.96%、MAモードでは51.4%のトレーニング時間短縮を達成した。
• リソース制限のあるNVIDIA Jetson Nanoでは、FLOPsに配慮した（FA）モードが最も顕著なトレーニング時間短縮を達成し、エッジデプロイメントにおける有効性を示した。
• プルーニング済みモデルの直接トレーニングにより、ファインチューニングを必要とせずに競争力のある精度を達成し、トレーニングコストを著しく削減しながら、最先端の手法と同等またはそれを上回る精度を実現した。
• 3つのプルーニングモード（PA, FA, MA）により、開発者はFLOPs、メモリ、パラメータといった特定のリソース制約とモデル精度の間で、情報に基づいたトレードオフを実現できるようになった。
• 低トレーニングオーバーヘッドの特性を活かして、インクリメンタルトレーニングやフェデレーテッドラーニングといった実用的ユースケースをエッジデバイスでサポートできるようになった。
• 最大50回の反復的プルーニング後でも、精度の低下が最小限に抑えられ、高いモデルパフォーマンスを維持した。これは、本手法のロバストネスとスケーラビリティを裏付けるものである。