[论文解读] Distributed On-Sensor Compute System for AR/VR Devices: A Semi-Analytical Simulation Framework for Power Estimation

Jorge Marx Gómez, Saavan Patel+9 more|arXiv (Cornell University)|Mar 14, 2022

Advanced Memory and Neural Computing被引用 12

一句话总结

本文提出一种半解析仿真框架，用于优化AR/VR设备中分布式边缘计算架构的功耗。通过协同优化硬件组件（如3D-IC互连、STT-MRAM及处理器-内存划分），该框架在手势追踪工作负载中将系统功耗降低高达24%，方法是减少数据移动并利用边缘智能推理。

ABSTRACT

Augmented Reality/Virtual Reality (AR/VR) glasses are widely foreseen as the next generation computing platform. AR/VR glasses are a complex "system of systems" which must satisfy stringent form factor, computing-, power- and thermal- requirements. In this paper, we will show that a novel distributed on-sensor compute architecture, coupled with new semiconductor technologies (such as dense 3D-IC interconnects and Spin-Transfer Torque Magneto Random Access Memory, STT-MRAM) and, most importantly, a full hardware-software co-optimization are the solutions to achieve attractive and socially acceptable AR/VR glasses. To this end, we developed a semi-analytical simulation framework to estimate the power consumption of novel AR/VR distributed on-sensor computing architectures. The model allows the optimization of the main technological features of the system modules, as well as the computer-vision algorithm partition strategy across the distributed compute architecture. We show that, in the case of the compute-intensive machine learning based Hand Tracking algorithm, the distributed on-sensor compute architecture can reduce the system power consumption compared to a centralized system, with the additional benefits in terms of latency and privacy.

研究动机与目标

• 通过实现边缘AI处理，解决AR/VR眼镜在功耗、热管理和外形尺寸方面的约束。
• 克服集中式处理带来的高通信与功耗成本，尤其因MIPI数据传输导致的开销。
• 通过建模传感器、处理器、存储器和接口之间的系统级权衡，实现AR/VR工作负载的软硬件协同设计。
• 优化边缘处理器与聚合器之间的工作负载划分，以在保持低延迟和隐私保护的前提下最小化系统功耗。
• 评估新兴技术（如3D-IC、μTSV和STT-MRAM）对系统级功耗效率的影响。

提出的方法

• 开发一种半解析仿真框架，用于建模所有系统模块的功耗：摄像头、MIPI接口、边缘处理器和存储器。
• 利用硅基校准的事件驱动仿真器（GVSoC）校准计算与存储参数，以提高功耗估算的准确性。
• 构建分布式边缘计算架构，其中边缘处理器通过低功耗、高带宽的μTSV互连与图像传感器相连。
• 采用混合存储层次结构，使用SRAM存储激活数据，STT-MRAM存储权重数据，以降低漏电功耗并提升密度。
• 对两阶段手势追踪网络（DetNet与KeyNet）进行工作负载划分仿真，其中DetNet在边缘运行，KeyNet在聚合器上运行。
• 通过对比集中式与分布式系统，量化功耗节省效果，同时变化工艺节点（如16nm与7nm）和存储技术。

实验结果

研究问题

• RQ1 与集中式架构相比，分布式边缘计算在AR/VR工作负载中能在多大程度上降低系统功耗？
• RQ2 在数据密集型应用中，通信接口（MIPI与μTSV）如何影响整体系统功耗？
• RQ3 在边缘存储层次结构中，使用STT-MRAM替代SRAM对功耗与面积效率有何影响？
• RQ4 边缘处理器的工艺节点（如16nm与7nm）在分布式架构中如何影响系统级功耗节省？
• RQ5 对于两阶段神经网络（如手势追踪），在边缘与非边缘处理之间采用何种最优划分策略可最小化系统功耗？

主要发现

• 与集中式系统相比，分布式边缘计算架构在手势追踪工作负载中将总系统功耗降低了24%。
• 即使边缘处理器采用性能较低的16nm工艺（相比7nm聚合器），系统仍实现16%的功耗降低，主要得益于MIPI与摄像头功耗的减少。
• 边缘处理通过高带宽μTSV互连实现更短的数字读出时间，从而降低摄像头功耗，延长低功耗待机时间。
• 使用STT-MRAM存储权重数据，使边缘存储功耗降低39%，主要因其漏电可忽略不计，优于SRAM。
• STT-MRAM使存储密度提升2倍，改善边缘设备的外形尺寸并减小面积占用。
• 尽管因权重数据冗余存储导致总存储功耗略有上升，但整体系统功耗显著降低，主要得益于数据移动与通信成本的减少。