[论文解读] Hardware based Spatio-Temporal Neural Processing Backend for Imaging Sensors: Towards a Smart Camera

Samiran Ganguly, Yunfei Gu+2 more|arXiv (Cornell University)|Mar 23, 2018

Neural Networks and Reservoir Computing参考文献 15被引用 3

一句话总结

本文提出了一种面向成像传感器的基于硬件的时空神经处理后端，集成了储备计算（Reservoir Computing）用于神经滤波，增强型R-CNN用于空间特征提取，以及分层时间记忆（Hierarchical Temporal Memory）用于运动预测。该系统实现了超越材料极限的实时图像信噪比（SNR）增强和鲁棒的用户自定义特征追踪，可扩展的CMOS与新兴纳米材料（例如自旋电子器件）使超低功耗嵌入式神经处理器成为可能，适用于智能相机。

ABSTRACT

In this work we show how we can build a technology platform for cognitive imaging sensors using recent advances in recurrent neural network architectures and training methods inspired from biology. We demonstrate learning and processing tasks specific to imaging sensors, including enhancement of sensitivity and signal-to-noise ratio (SNR) purely through neural filtering beyond the fundamental limits sensor materials, and inferencing and spatio-temporal pattern recognition capabilities of these networks with applications in object detection, motion tracking and prediction. We then show designs of unit hardware cells built using complementary metal-oxide semiconductor (CMOS) and emerging materials technologies for ultra-compact and energy-efficient embedded neural processors for smart cameras.

研究动机与目标

• 开发一种认知成像传感器平台，集成传感、存储与逻辑功能，实现实时时空处理。
• 通过神经滤波突破传感器材料的固有极限，实现超越物理约束的信噪比（SNR）与灵敏度提升。
• 实现对用户定义特征的实时追踪，包括检测、空间参数提取（位置、尺寸、旋转）以及运动预测。
• 设计能效高效、紧凑的神经处理硬件，采用CMOS与新兴纳米材料（例如自旋电子器件）以实现嵌入式部署。

提出的方法

• 采用回声状态网络（ESNs），即储备计算的一种形式，执行神经滤波，以反转时变传感器失真并提升噪声图像中的信噪比（SNR）。
• 使用增强型区域卷积神经网络（R-CNNs）提取空间特征及其典型运动变量：位置（x,y）、尺寸（h,w）和方向（θ, φx, φy）。
• 应用分层时间记忆（HTM）建模时空相关性，学习并预测所追踪特征的运动生成方程。
• 设计一种广义随机神经元模型，利用自旋电子器件（例如磁隧道结）实现可调谐能垒，以模拟非线性激活函数与随机性。
• 通过可编程导体（I = GV）实现突触权重，并采用忆阻器混合交叉阵列紧凑实现突触连接。
• 使用电荷基电容（Q_in）建模神经元动力学，并引入非线性转移函数 f(α·dQ_in/dt)，通过添加白高斯噪声（I_rnd）实现学习所必需的随机行为。

实验结果

研究问题

• RQ1 通过储备计算实现的神经滤波能否突破传感器材料所施加的信噪比（SNR）极限，从成像传感器中恢复信号？
• RQ2 结合ESNs、R-CNNs与HTM的混合神经架构能否实现实时检测、空间参数提取与用户定义特征在视频流中的运动预测？
• RQ3 如何利用CMOS与新兴纳米材料（例如自旋电子器件）设计出面向嵌入式智能相机应用的硬件高效、低功耗紧凑型神经处理单元？
• RQ4 具有可调谐能垒的磁隧道结的物理特性在多大程度上可支持适用于深度学习工作负载的随机性、低功耗神经计算？

主要发现

• 采用ESNs的神经滤波成功通过学习并反转时变失真，提升了图像信噪比（SNR）与D*，突破了传感器材料的固有极限。
• 增强型R-CNN能准确提取空间特征及其典型变量：位置（x,y）、尺寸（h,w）与方向（θ, φx, φy），实现了鲁棒的特征识别。
• 基于HTM的时间推理方法通过建模时空相关性，实时学习并预测了特征的运动轨迹，实现了短期运动预测。
• 基于自旋电子器件的随机神经元通过可调谐能垒（U = M_s·H_k·Ω/2）实现了硬件兼容的非线性激活与随机性，其状态保持时间（τ）可通过U/kT调节。
• 采用可编程忆阻器与金属互连的混合交叉阵列，实现了突触权重与神经元阵列的紧凑、可扩展实现，适用于大规模神经网络。
• 所提出的平台证明了在图像传感器附近直接嵌入认知处理的可行性，利用CMOS与新兴材料，实现了超紧凑、低功耗的智能相机系统。