[論文レビュー] Lightweight Deep Learning for Resource-Constrained Environments: A Survey

Hou-I Liu, Marco Antonio Gutiérrez Galindo+5 more|arXiv (Cornell University)|Apr 8, 2024

Advanced Neural Network Applications被引用数 5

ひとこと要約

軽量深層学習設計、圧縮、デプロイメント技術の総合的な調査。TinyMLとエdge-Large Language Modelsの検討を含む、リソース制約デバイスに向けた包括的ガイド。

ABSTRACT

Over the past decade, the dominance of deep learning has prevailed across various domains of artificial intelligence, including natural language processing, computer vision, and biomedical signal processing. While there have been remarkable improvements in model accuracy, deploying these models on lightweight devices, such as mobile phones and microcontrollers, is constrained by limited resources. In this survey, we provide comprehensive design guidance tailored for these devices, detailing the meticulous design of lightweight models, compression methods, and hardware acceleration strategies. The principal goal of this work is to explore methods and concepts for getting around hardware constraints without compromising the model's accuracy. Additionally, we explore two notable paths for lightweight deep learning in the future: deployment techniques for TinyML and Large Language Models. Although these paths undoubtedly have potential, they also present significant challenges, encouraging research into unexplored areas.

研究の動機と目的

• リソース制約デバイスにおける軽量DLの必要性と環境上の懸念を説明する。
• 軽量NNアーキテクチャ、圧縮手法、デプロイ用ハードウェアを分類・分析する。
• アーキテクチャとハードウェアの選択に関する指針を提供し、TinyMLやエッジLLMsといった将来方向を議論する。
• アーキテクチャ設計、圧縮、ハードウェア加速を統合したパイプラインとしての統合的視点を提示する。

提案手法

• シリーズ別に軽量CNNアーキテクチャをレビュー・分類する（例：MobileNet、ShuffleNet、SqueezeNet、CondenseNet）。
• 量子化、剪定、KD、NAS、およびそれらの組み合わせといった圧縮技術を論じる。
• GPU、FPGA、TPU、データフロー、近接性、ハードウェアとモデルの共設計といったハードウェアデプロイメントの側面を検討する。
• 軽量化されたトランスフォーマーアプローチを評価する：軽量アテンションモジュールと効率的な自己注意技術。

実験結果

リサーチクエスチョン

• RQ1 制約付きデバイス上で軽量DLを可能にする主要なアーキテクチャ、圧縮、デプロイ技術は何か。
• RQ2 ImageNetなどの一般的ベンチマークで、精度・パラメータ・MACsの観点で軽量モデルはどの程度比較されるか。
• RQ3 FPGA、MCU、GPU、エッジアクセラレータなどのハードウェア上で軽量モデルをデプロイする際の実践的考慮事項は何か。
• RQ4 将来方向（TinyML、エッジLLMs）はどの程度有望で、どんな課題が残るか。

主な発見

モデル	Top-1	Top-5	Params. (M)	MACs (G)
AlexNet	57.1	80.3	60.9	0.725
ResNet-50	76.0	93.0	26.0	4.100
SqueezeNet	57.5	80.3	1.2	0.837
SqueezeNext	59.1	82.6	0.7	0.282
ShuffleNetV1-1.5	71.5	-	3.4	0.292
ShuffleNetV2-1.5	72.6	90.6	3.5	0.299
1.0-MobileNetV1	70.6	-	4.2	0.569
MobileNetV2-1.4	74.7	-	6.9	0.585
MobileV3-S	67.4	-	2.5	0.056
MobileV3-L	75.2	-	5.4	0.219
MobileNeXt-1.0	74.0	-	3.4	0.300
ShiftResNet-20	68.6	-	0.2	0.046
ShiftResNet-56	72.1	-	0.6	0.102
ShiftNet-A	70.1	89.7	4.1	1.400
ShiftNet-B	61.2	83.6	1.1	0.371
FE-Net-1.0	72.9	-	3.7	0.301
FE-Net-1.37	75.0	-	5.9	0.563
AddressNet-20	68.7	-	0.1	0.022
AddressNet-44	73.3	-	0.2	0.053
AdderNet-Resnet18	67.0	87.6	3.6	-
AdderNet-Resnet50	74.9	91.7	7.7	-
DenseNet-169	76.2	93.2	14.0	3.500
DenseNet-264	77.9	93.9	34.0	6.000
CondenseNet	71.0	90.0	2.9	0.274
CondenseV2-A	64.4	84.5	2.0	0.046
CondenseV2-B	71.9	90.3	3.6	0.146
EfficientNet-B1	79.2	94.5	7.8	0.700
EfficientNet-B7	84.4	97.1	66.0	37.000
EfficientNet-X-B7	84.7	-	73.0	91.000
EfficientNetV2-S	83.9	-	24.0	8.800
EfficientNetV2-M	85.1	-	55.0	24.000
EfficientNetV2-L	85.7	-	121.0	53.000

• 多くの軽量アーキテクチャはMAC数/パラメータを低くするために精度を犠牲にしており、すべての状況に適した単一の最適モデルは存在しない。
• Depthwise separableおよびgroup卷積は計算量を減らすが、メモリやデータフローに影響を与える可能性があり、ハードウェアを意識した設計が重要。
• 圧縮手法（量子化、剪定、KD、NAS）は、望ましいトレードオフを達成するために組み合わせて用いられることが多い。
• Efficient transformersと軽量アテンションモジュールは自己注意コストを削減するが、慎重な設計（LSRA、Linformer、FAVOR+）が必要。
• 本調査はTinyMLとエッジLLMデプロイを将来の有望だが課題の多い道として浮上させている。
• 表1はアーキテクチャ間でTop-1精度とMACsが varied であることを示す； EfficientNet系は高い精度を提供する一方MACsが多く、AddressNet系は効率性を強調。