[论文解读] ALL-OPTICAL NONLINEAR ACTIVATION FUNCTION FOR PHOTONIC NEURAL NETWORKS

Mario Miscuglio, Armin Mehrabian+6 more|arXiv (Cornell University)|Jan 1, 2018

Neural Networks and Reservoir Computing参考文献 17被引用 32

一句话总结

本文提出了一种基于两种纳米光子平台的全光非线性激活函数，用于光子神经网络：金纳米棒-量子点异质结构中的等离子体-激子 Fano 共振，以及 C60 薄膜中的反向饱和吸收。分别实现了 3 dB 和 7 dB 的消光比，使 MNIST 数字分类的准确率分别达到 97% 和接近 100%，展示了具备亚皮秒计算潜力和比电子或电光替代方案高数个数量级能效的全光子神经网络。

ABSTRACT

With the recent successes of neural networks (NN) to perform machine-learning tasks, photonic-based NN designs may enable high throughput and low power neuromorphic compute paradigms since they bypass the parasitic charging of capacitive wires. Thus, engineering data-information processors capable of executing NN algorithms with high efficiency is of major importance for applications ranging from pattern recognition to classification. Our hypothesis is therefore, that if the time-limiting electro-optic conversion of current photonic NN designs could be postponed until the very end of the network, then the execution time of the photonic algorithm is simple the delay of the time-of-flight of photons through the NN, which is on the order of picoseconds for integrated photonics. Exploring such all-optical NN, in this work we discuss two independent approaches of implementing the optical perceptrons nonlinear activation function based on nanophotonic structures exhibiting i) induced transparency and ii) reverse saturated absorption. Our results show that the all-optical nonlinearity provides about 3 and 7 dB extinction ratio for the two systems considered, respectively, and classification accuracies of an exemplary MNIST task of 97% and near 100% are found, which rivals that of software based trained NNs, yet with ignored noise in the network. Together with a developed concept for an all-optical perceptron, these findings point to the possibility of realizing pure photonic NNs with potentially unmatched throughput and even energy consumption for next generation information processing hardware.

研究动机与目标

• 通过在光子集成电路中实现全光计算，克服电子和电光神经网络在速度和能效方面的限制。
• 开发一种真正的全光子神经网络（AONN），绕过电子转换，从而消除 RC 延迟和功耗高的互连。
• 利用纳米光子结构中的光-物质相互作用实现非线性激活函数，实现高速、低功耗的类脑计算。
• 证明全光激活函数可在标准基准（如 MNIST）上实现与软件训练神经网络相当的性能。

提出的方法

• 利用有限元时域（FDTD）仿真模拟金纳米棒与量子点（QD）组成的等离子体-激子系统中光与物质的相互作用，实现诱导透明性。
• 采用具有自适应网格加密的三维 FDTD 求解器，模拟不同输入功率下金属纳米颗粒/量子点（MNP/QD）系统的非线性光学响应。
• 使用专有的 FDTD-ADE 多物理场代码建模 C60 薄膜中的反向饱和吸收（RSA），整合载流子动力学与非线性吸收动力学。
• 将非线性响应集成到光子集成电路（PIC）架构中，激活函数实现在长度小于 10 µm 的波导平台上。
• 在 TensorFlow 中模拟全光感知机，将仿真得到的非线性响应作为全连接神经网络中的激活函数。
• 基于物理组件长度和有效折射率估算网络性能，预测亚皮秒计算延迟和能效超过 10^16 MAC/J。

实验结果

研究问题

• RQ1 能否在具有强光-物质相互作用的纳米光子材料中，利用集成光子电路实现全光非线性激活函数？
• RQ2 基于等离子体-激子异质结构中 Fano 共振的全光激活函数，其可实现的消光比和调制深度是多少？
• RQ3 C60 薄膜中的反向饱和吸收能否提供一种实用且高效的全光非线性响应，适用于神经网络激活？
• RQ4 与传统的电子或电光神经网络相比，全光子神经网络在速度和能效方面的性能如何？
• RQ5 全光激活函数能否在标准基准（如 MNIST）上实现与软件训练神经网络相当的分类准确率？

主要发现

• 基于 Fano 共振的系统在非线性光学响应中实现了 3 dB 的消光比，能够有效调制透射信号。
• 基于 C60 的反向饱和吸收系统表现出 7 dB 的消光比，表明其具备更强的非线性调制能力。
• 两种系统均实现了全光子神经网络运行，估计计算速度达 10^12 MAC/s，仅受光子渡越时间限制。
• 基于 Fano 共振激活函数的全光子神经网络在 MNIST 数据集上实现了 97% 的分类准确率，而基于 C60 的系统则接近 100%。
• 所提出的 AONN 架构估计能效超过 10^16 MAC/J，比当前 GPU 和电光神经网络高出数个数量级。
• 结果表明，全光激活函数可达到与传统软件训练网络相当的性能，同时运行在光速和能效的理论极限上。