[论文解读] Electro-optical Neural Networks based on Time-stretch Method

Yubin Zang, Minghua Chen+2 more|arXiv (Cornell University)|Sep 13, 2019

Neural Networks and Reservoir Computing参考文献 33被引用 5

一句话总结

该论文提出了一种基于时间拉伸法的新型电光神经网络架构，利用光纤环路实现大规模矩阵-向量乘法和多层前馈计算。数值仿真表明，在显著噪声条件下手写数字识别的准确率达到88%，展示了光学信号处理在高效、高速人工智能推理方面的潜力。

ABSTRACT

In this paper, a novel architecture of electro-optical neural networks based on the time-stretch method is proposed and numerically simulated. By stretching time-domain ultrashort pulses, multiplications of large scale weight matrices and vectors can be implemented on light and multiple-layer of feedforward neural network operations can be easily implemented with fiber loops. Via simulation, the performance of a three-layer electro-optical neural network is tested by the handwriting digit recognition task and the accuracy reaches 88% under considerable noise.

研究动机与目标

• 开发一种新型神经网络硬件架构，利用光学信号处理克服人工智能计算中的电子瓶颈。
• 通过光纤环路中的时间拉伸光学脉冲，实现大规模矩阵-向量乘法和多层前馈运算。
• 在真实噪声条件下，展示光学神经网络在实际机器学习任务中的可行性。
• 探索电光系统在超越电子极限的神经网络推理加速方面的潜力。

提出的方法

• 采用时间拉伸方法在线性时间内拉伸超短光学脉冲，实现信号分量的并行处理。
• 通过时分复用方案，将权值矩阵编码在时间拉伸光学信号的幅度和相位上。
• 利用光纤延迟线和无源光学元件实现神经网络层，执行类似卷积的运算。
• 通过利用光纤组件的线性时域响应，实现矩阵-向量乘法。
• 通过级联的时间拉伸和滤波级，设计网络架构以支持多层前馈运算。
• 通过平衡光电检测和数字化实现信号检测，随后进行标准分类。

实验结果

研究问题

• RQ1 时间拉伸方法能否有效用于在光学神经网络中实现大规模矩阵-向量乘法？
• RQ2 能否通过光纤环路中的时间拉伸光学信号高效实现多层前馈神经网络运算？
• RQ3 所提出的电光神经网络在真实世界机器学习任务中，于噪声条件下的表现如何？
• RQ4 该光学神经网络在手写数字识别等模式识别任务中的可实现准确率是多少？

主要发现

• 所提出的电光神经网络在使用MNIST数据集的手写数字识别任务中实现了88%的分类准确率。
• 系统在显著噪声下表现出稳健性能，表明其在光学实现中对信号退化具有强鲁棒性。
• 时间拉伸方法通过无源光学元件实现了大规模矩阵-向量乘法的高效实现。
• 通过级联光纤环路和时域信号处理，成功实现了多层前馈运算。
• 仿真结果验证了利用光学信号处理实现高速、低功耗神经网络推理的可行性。