[论文解读] Improving the Energy Efficiency and Robustness of tinyML Computer Vision using Log-Gradient Input Images

Qianyun Lu, Boris Murmann|arXiv (Cornell University)|Mar 4, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出将对数梯度（log∇）图像作为微型机器学习（tinyML）卷积神经网络（CNN）的输入，实现第一层输入的极端1.5比特量化，提升CNN的可剪枝性，并对光照变化具有固有鲁棒性（在8倍亮度变化范围内仅损失1.7%准确率）。该方法通过用模拟域对数梯度计算替代传统图像信号处理（ISP），降低了能耗和系统复杂度。

ABSTRACT

This paper studies the merits of applying log-gradient input images to convolutional neural networks (CNNs) for tinyML computer vision (CV). We show that log gradients enable: (i) aggressive 1.5-bit quantization of first-layer inputs, (ii) potential CNN resource reductions, and (iii) inherent robustness to illumination changes (1.7% accuracy loss across 1/32...8 brightness variation vs. up to 10% for JPEG). We establish these results using the PASCAL RAW image data set and through a combination of experiments using neural architecture search and a fixed three-layer network. The latter reveal that training on log-gradient images leads to higher filter similarity, making the CNN more prunable. The combined benefits of aggressive first-layer quantization, CNN resource reductions, and operation without tight exposure control and image signal processing (ISP) are helpful for pushing tinyML CV toward its ultimate efficiency limits.

研究动机与目标

• 通过优化从传感器到分类器的完整计算机视觉流水线，应对电池供电物联网设备日益增长的能效与成本约束。
• 克服传统图像信号处理（ISP）在tinyML系统中的局限性，这些系统通常过度针对人类视觉感知进行设计，而非机器效率优化。
• 探究对数梯度预处理是否能够提升CNN在tinyML应用中的可压缩性、对光照变化的鲁棒性以及能效表现。
• 证明使用log∇输入可实现第一层特征的极端量化（1.5比特），且不损失准确率，从而减少数据移动与内存开销。
• 通过将模拟域对数梯度计算与深度学习模型集成，建立硬件感知的端到端优化路径，实现tinyML计算机视觉的系统级优化。

提出的方法

• 使用公式 $ P' = \log(P + 1) $ 计算对数梯度图像，随后通过类似Sobel的梯度滤波器 $ f $ 进行二维卷积，得到 $ \log\nabla = P' * f $，其中 $ P $ 为输入图像。
• 使用PASCAL RAW 2014数据集对未处理的原始传感器数据进行模型训练与评估，以真实模拟光照变化。
• 应用神经架构搜索（NAS）比较在RAW、JPEG和log∇输入上训练的CNN，以滤波器相似性与模型复杂度为指标，衡量可剪枝性。
• 固定一个三层CNN架构以验证NAS结果，比较不同输入类型下的滤波器相似性与剪枝效率。
• 通过将输入图像按 $ 2^{-5} $ 到 $ 2^{3} $ 的因子缩放，模拟光照变化，比较RAW、JPEG与log∇输入在准确率退化方面的表现。
• 在使用log∇输入时，将CNN第一层特征量化至1.5比特（3个级别），评估其对模型性能与数据移动的影响。

实验结果

研究问题

• RQ1 对数梯度预处理是否能够实现第一层CNN输入的极端1.5比特量化，从而减少数据移动与内存需求？
• RQ2 在对数梯度图像上训练的CNN是否表现出更高的可剪枝性，表现为更高的滤波器相似性与更低的模型复杂度？
• RQ3 在宽动态范围的光照变化下，对数梯度输入处理相较于标准JPEG与RAW输入，在鲁棒性方面表现如何？
• RQ4 在准确率与能效方面，移除数字ISP模块后，对数梯度预处理在多大程度上可实现补偿？
• RQ5 对数梯度预处理是否可作为传统ISP流水线在tinyML计算机视觉系统中的可行、高效能替代方案？

主要发现

• 对数梯度预处理使第一层CNN输入的1.5比特量化成为可能，相比标准的5比特或更高要求，显著降低了数据移动与内存需求。
• 在对数梯度输入上训练的CNN表现出显著更高的滤波器相似性（通过余弦相似度衡量），表明其结构更规整，可压缩性更强。
• 与JPEG输入最高达10%的准确率退化相比，基于log∇的系统在8倍亮度变化范围（$ 2^{-5} $ 到 $ 2^{3} $）内仅损失1.7%准确率。
• 神经架构搜索结果证实，log∇训练的模型比在RAW或JPEG上训练的模型更具可压缩性，剪枝后参数量与激活量均更少。
• log∇方法具备固有的光照不变性，减少了tinyML系统中对复杂曝光控制与图像信号处理的需求。
• 该方法支持在模拟域高效计算对数梯度，如先前硬件实现所示，可在传感器层面实现系统级能效提升。