[论文解读] All-optical neuromorphic binary convolution with a spiking VCSEL neuron for image gradient magnitudes

Yahui Zhang, Joshua Robertson+4 more|arXiv (Cornell University)|Nov 9, 2020

Neural Networks and Reservoir Computing参考文献 35被引用 5

一句话总结

本文提出并实验演示了首个基于脉冲垂直腔面发射激光器（VCSEL）神经元的全光神经形态二值卷积。来自数字图像的时序编码光输入由单个VCSEL神经元处理，其输出为持续时间小于100 ps的脉冲串，实现了高速、低功耗、抗噪声的实时图像梯度幅值计算，用于边缘检测与成分分离。

ABSTRACT

All-optical binary convolution with a photonic spiking vertical-cavity surface-emitting laser (VCSEL) neuron is proposed and demonstrated experimentally for the first time. Optical inputs, extracted from digital images and temporally encoded using rectangular pulses, are injected in the VCSEL neuron which delivers the convolution result in the number of fast (<100 ps long) spikes fired. Experimental and numerical results show that binary convolution is achieved successfully with a single spiking VCSEL neuron and that all-optical binary convolution can be used to calculate image gradient magnitudes to detect edge features and separate vertical and horizontal components in source images. We also show that this all-optical spiking binary convolution system is robust to noise and can operate with high-resolution images. Additionally, the proposed system offers important advantages such as ultrafast speed, high energy efficiency and simple hardware implementation, highlighting the potentials of spiking photonic VCSEL neurons for high-speed neuromorphic image processing systems and future photonic spiking convolutional neural networks.

研究动机与目标

• 开发一种完全全光、高速的神经形态系统，用于图像处理，采用光子脉冲神经元。
• 实现在无需电子转换的情况下，实时计算图像梯度幅值以实现边缘检测。
• 在全光框架下，证明系统对噪声的鲁棒性以及与高分辨率图像的兼容性。
• 利用VCSEL的超快响应和低功耗特性，推动下一代光子神经网络的发展。

提出的方法

• 使用矩形光脉冲对数字图像的光学输入进行时间编码，以表示二值数据。
• 单个脉冲VCSEL神经元接收编码后的光信号，并根据输入强度和时间响应生成超快脉冲输出（<100 ps）。
• 发射脉冲的数量编码了图像特征与卷积核之间二值卷积运算的结果。
• 通过分析对应于水平和垂直边缘分量的脉冲计数，计算图像梯度幅值。
• 实验与数值验证证实，仅使用单个VCSEL神经元即可成功完成二值卷积与梯度幅值提取。
• 该架构设计具有可扩展性，可集成至未来的光子脉冲卷积神经网络中。

实验结果

研究问题

• RQ1 单个全光脉冲VCSEL神经元是否能够在无电子中间环节的情况下，对光学图像数据执行二值卷积？
• RQ2 该系统是否能仅通过光学脉冲输出准确计算图像梯度幅值以实现边缘检测？
• RQ3 该系统在噪声环境以及高分辨率图像输入下的表现如何？
• RQ4 该全光方法在速度、能效和硬件简洁性方面具有哪些优势？
• RQ5 系统是否能通过脉冲计数分析区分水平与垂直边缘分量？

主要发现

• 系统成功利用单个脉冲VCSEL神经元实现了全光二值卷积，脉冲响应时间小于100 ps。
• 通过脉冲计数输出准确计算出图像梯度幅值，实现了有效的边缘检测。
• 系统对噪声具有鲁棒性，并可在高分辨率图像下稳定运行。
• 由于VCSEL神经元的光子特性，该方法实现了超高速处理和高能效。
• 通过分析不同卷积核产生的不同脉冲模式，系统可实现对垂直与水平边缘分量的分离。
• 实验结果证实，利用脉冲VCSEL可实现高速、全光神经形态图像处理的可行性。