[论文解读] Lightweight Transformer Architectures for Edge Devices in Real-Time Applications

Hema Hariharan Samson|arXiv (Cornell University)|Jan 5, 2026

Advanced Neural Network Applications被引用 0

一句话总结

对边缘部署的轻量级Transformer架构的全面综述，详细介绍压缩、量化、剪枝和蒸馏等技术，在NLP与视觉任务上进行基准测试，并提供硬件感知部署的指导。

ABSTRACT

The deployment of transformer-based models on resource-constrained edge devices represents a critical challenge in enabling real-time artificial intelligence applications. This comprehensive survey examines lightweight transformer architectures specifically designed for edge deployment, analyzing recent advances in model compression, quantization, pruning, and knowledge distillation techniques. We systematically review prominent lightweight variants including MobileBERT, TinyBERT, DistilBERT, EfficientFormer, EdgeFormer, and MobileViT, providing detailed performance benchmarks on standard datasets such as GLUE, SQuAD, ImageNet-1K, and COCO. Our analysis encompasses current industry adoption patterns across major hardware platforms (NVIDIA Jetson, Qualcomm Snapdragon, Apple Neural Engine, ARM architectures), deployment frameworks (TensorFlow Lite, ONNX Runtime, PyTorch Mobile, CoreML), and optimization strategies. Experimental results demonstrate that modern lightweight transformers can achieve 75-96% of full-model accuracy while reducing model size by 4-10x and inference latency by 3-9x, enabling deployment on devices with as little as 2-5W power consumption. We identify sparse attention mechanisms, mixed-precision quantization (INT8/FP16), and hardware-aware neural architecture search as the most effective optimization strategies. Novel findings include memory-bandwidth bottleneck analysis revealing 15-40M parameter models achieve optimal hardware utilization (60-75% efficiency), quantization sweet spots for different model types, and comprehensive energy efficiency profiling across edge platforms. We establish real-time performance boundaries and provide a practical 6-step deployment pipeline achieving 8-12x size reduction with less than 2% accuracy degradation.

研究动机与目标

• 推动在资源受限的边缘设备上部署Transformer模型以实现实时AI应用。
• 分析并比较轻量级Transformer变体及其压缩和优化技术。
• 为标准数据集提供基准测试，并评估硬件平台、部署框架和优化工具。
• 明确在边缘部署中实现高效优化策略的实践指南。

提出的方法

• 系统性回顾面向边缘部署而设计的轻量级Transformer架构。
• 在NLP（GLUE、SQuAD）和视觉（ImageNet-1K、COCO）任务上的基准综合。
• 分析硬件平台（NVIDIA Jetson、Snapdragon、Apple Neural Engine、ARM）和部署框架（TensorFlow Lite、ONNX Runtime、PyTorch Mobile、CoreML）。
• 评估包括模型压缩、量化、剪枝、蒸馏和硬件感知NAS在内的优化技术。
• 提取实用的部署最佳实践和真实世界案例研究。

实验结果

研究问题

• RQ1 在设备上实时推理中，最有效的轻量级Transformer架构是什么？
• RQ2 压缩、量化、剪枝与蒸馏如何影响边缘硬件上的准确性、规模与延迟？
• RQ3 哪些部署框架与硬件平台最适合边缘Transformer推理？
• RQ4 实现边缘设备实时性能且最小化准确性损失的最佳实践与指南是什么？

主要发现

模型	参数量（M）	GLUE分数	SQuAD F1	延迟（ms）
BERT-base	110	79.5	88.5	580
DistilBERT	66	77.0	79.8	230
TinyBERT-4	14.5	77.0	82.1	62
TinyBERT-6	67	79.4	87.5	95
MobileBERT	25.3	77.7	90.3	62
MobileBERT	15.1	75.8	84.2	40

• 轻量级Transformer在模型规模缩减4-10×、延迟减少3-9×的情况下，仍能达到全模型准确性的75-96%。
• 两阶段知识蒸馏（通用+任务特定）提供最大的单次改进，教师/学生参数比的最佳为4-6×。
• 混合精度量化（对敏感层使用FP16，对密集变换使用INT8）在准确性与效率之间提供最佳平衡，视觉模型比NLP模型更易量化。
• 硬件感知神经架构搜索在以实际设备延迟为目标时，模型速度比以FLOP优化的设计快20-30%。
• 边缘Transformer的性能常受内存带宽制约；对移动端最优参数范围约为1500万至4000万参数（效率60-75%）。
• EfficientFormer、MobileBERT、TinyBERT和MobileViT在移动硬件上对视觉和NLP任务显示出强劲的帕累托前沿性能。