[논문 리뷰] Lightweight Deep Learning for Resource-Constrained Environments: A Survey

Hou-I Liu, Marco Antonio Gutiérrez Galindo외 5명|arXiv (Cornell University)|2024. 04. 08.

Advanced Neural Network Applications인용 수 5

한 줄 요약

리소스 제약이 있는 기기를 위한 경량 딥러닝 설계, 압축 및 배포 기술에 대한 포괄적 고찰로, TinyML 및 edge-Large Language Models 고려사항을 포함합니다.

ABSTRACT

Over the past decade, the dominance of deep learning has prevailed across various domains of artificial intelligence, including natural language processing, computer vision, and biomedical signal processing. While there have been remarkable improvements in model accuracy, deploying these models on lightweight devices, such as mobile phones and microcontrollers, is constrained by limited resources. In this survey, we provide comprehensive design guidance tailored for these devices, detailing the meticulous design of lightweight models, compression methods, and hardware acceleration strategies. The principal goal of this work is to explore methods and concepts for getting around hardware constraints without compromising the model's accuracy. Additionally, we explore two notable paths for lightweight deep learning in the future: deployment techniques for TinyML and Large Language Models. Although these paths undoubtedly have potential, they also present significant challenges, encouraging research into unexplored areas.

연구 동기 및 목표

• 제약된 자원을 가진 기기에서 경량 DL의 필요성 및 환경 문제를 설명합니다.
• 경량 NN 아키텍처, 압축 방법 및 배포 하드웨어를 분류하고 분석합니다.
• 아키텍처와 하드웨어 선택에 대한 지침을 제공하고, TinyML 및 엣지 LLM과 같은 향후 방향을 논의합니다.
• 아키텍처 설계, 압축, 하드웨어 가속을 통합 파이프라인으로 연결하는 통합 관점을 제공합니다.

제안 방법

• 가벼운 CNN 아키텍처를 시리즈별로 검토하고 분류합니다(예: MobileNet, ShuffleNet, SqueezeNet, CondenseNet).
• 양자화, 가지치기, KD, NAS 및 이들의 조합과 같은 압축 기법을 논의합니다.
• 하드웨어 배포 측면을 검토합니다: GPU, FPGA, TPU, 데이터 흐름, 로컬성, 하드웨어와 모델의 공동 설계.
• 가벼운 트랜스포머 접근법을 평가합니다: lite attention 모듈 및 효율적인 자기 주의 기법.

실험 결과

연구 질문

• RQ1 제약된 기기에서 경량 DL을 가능하게 하는 핵심 아키텍처, 압축 및 배포 기술은 무엇인가?
• RQ2 일반 벤치마크(I mageNet 등)에서 정확도, 파라미터 수 및 MACs 측면에서 경량 모델은 어떻게 비교되는가?
• RQ3 FPGA, MCU, GPU 및 엣지 가속기와 같은 하드웨어에 경량 모델을 배포할 때의 실제 고려사항은 무엇인가?
• RQ4 향후 방향(TinyML, edge LLMs)이 어떤 가능성을 제시하며 남아 있는 도전과제는 무엇인가?

주요 결과

모델	Top-1	Top-5	매개변수. (M)	MACs (G)
AlexNet	57.1	80.3	60.9	0.725
ResNet-50	76.0	93.0	26.0	4.100
SqueezeNet	57.5	80.3	1.2	0.837
SqueezeNext	59.1	82.6	0.7	0.282
ShuffleNetV1-1.5	71.5	-	3.4	0.292
ShuffleNetV2-1.5	72.6	90.6	3.5	0.299
1.0-MobileNetV1	70.6	-	4.2	0.569
MobileNetV2-1.4	74.7	-	6.9	0.585
MobileV3-S	67.4	-	2.5	0.056
MobileV3-L	75.2	-	5.4	0.219
MobileNeXt-1.0	74.0	-	3.4	0.300
ShiftResNet-20	68.6	-	0.2	0.046
ShiftResNet-56	72.1	-	0.6	0.102
ShiftNet-A	70.1	89.7	4.1	1.400
ShiftNet-B	61.2	83.6	1.1	0.371
FE-Net-1.0	72.9	-	3.7	0.301
FE-Net-1.37	75.0	-	5.9	0.563
AddressNet-20	68.7	-	0.1	0.022
AddressNet-44	73.3	-	0.2	0.053
AdderNet-Resnet18	67.0	87.6	3.6	-
AdderNet-Resnet50	74.9	91.7	7.7	-
DenseNet-169	76.2	93.2	14.0	3.500
DenseNet-264	77.9	93.9	34.0	6.000
CondenseNet	71.0	90.0	2.9	0.274
CondenseV2-A	64.4	84.5	2.0	0.046
CondenseV2-B	71.9	90.3	3.6	0.146
EfficientNet-B1	79.2	94.5	7.8	0.700
EfficientNet-B7	84.4	97.1	66.0	37.000
EfficientNet-X-B7	84.7	-	73.0	91.000
EfficientNetV2-S	83.9	-	24.0	8.800
EfficientNetV2-M	85.1	-	55.0	24.000
EfficientNetV2-L	85.7	-	121.0	53.000

• 많은 경량 아키텍처가 MACs/파라미터를 낮추는 대신 정확도를 희생하는 경향이 있으며 모든 시나리오에 최적의 단일 모델은 없다.
• 깊이별 분리합 및 그룹 합성곱은 계산을 줄이지만 메모리 및 데이터 흐름에 영향을 줄 수 있으며 하드웨어 인식 설계가 중요하다.
• 양자화, 가지치기, KD, NAS와 같은 압축 방법은 원하는 트레이드오프를 달성하기 위해 자주 조합된다.
• 효율적 트랜스포머와 경량 주의 모듈은 자기 주의 비용을 줄이지만 LSRA, Linformer, FAVOR+ 등의 신중한 설계가 필요하다.
• 본 조사는 TinyML 및 엣지 LLM 배치를 미래의 유망하고도 도전적인 경로로 강조한다.
• 표 1은 아키텍처 간 Top-1 정확도 및 MACs의 다양성을 보여주며, EfficientNet 변형은 높은 정확도를 제공하나 MACs도 높고, AddressNet 변형은 효율성을 강조한다.