[论文解读] End-to-end optical backpropagation for training neural networks.

Xianxin Guo, Thomas D. Barrett+2 more|arXiv (Cornell University)|Dec 23, 2019

Neural Networks and Reservoir Computing被引用 6

一句话总结

本文提出了一种新颖的端到端全光反向传播方法，利用可饱和吸收和泵浦-探测方案，实现神经网络的全光训练。仿真结果表明，在图像分类基准测试中，该方法性能与当前最先进深度学习模型相当，仅使用无源光学元件和可实现的光学深度。

ABSTRACT

Backpropagation through nonlinear neurons is an outstanding challenge to the field of optical neural networks and the major conceptual barrier to all-optical training schemes. Each neuron is required to exhibit a directionally dependent response to propagating optical signals, with the backwards response conditioned on the forward signal, which is highly non-trivial to implement optically. We propose a practical and surprisingly simple solution that uses saturable absorption to provide the network nonlinearity. We find that the backward propagating gradients required to train the network can be approximated in a pump-probe scheme that requires only passive optical elements. Simulations show that, with readily obtainable optical depths, our approach can achieve equivalent performance to state-of-the-art computational networks on image classification benchmarks, even in deep networks with multiple sequential gradient approximations. This scheme is compatible with leading optical neural network proposals and therefore provides a feasible path towards end-to-end optical training.

研究动机与目标

• 克服在光学神经网络中实现方向依赖、梯度条件响应的固有挑战，以实现反向传播。
• 仅使用无源光学元件，避免使用主动或复杂反馈机制，实现光学神经网络的端到端训练。
• 开发一种可扩展且与现有主流光学神经网络架构兼容的解决方案。
• 证明在标准基准测试中，实际光学深度可实现与计算型深度网络相当的训练性能。

提出的方法

• 利用可饱和吸收在光学神经元中提供必要的非线性，实现神经计算所必需的强度依赖透射。
• 采用泵浦-探测配置，通过由前向信号调制并经可饱和吸收体调制的探测光束，近似反向传播的梯度。
• 仅使用无源光学元件——无主动反馈或电子控制——以在整个训练过程中保持全光操作。
• 通过利用可饱和介质的强度依赖吸收特性，使反向响应依赖于前向信号。
• 通过泵浦-探测装置中的干涉和强度调制近似反向传播梯度，避免显式计算导数。
• 设计该方案以与现有光学神经网络架构兼容，支持集成到当前硬件方案中。

实验结果

研究问题

• RQ1 无源全光系统能否近似通过非线性光学神经元的梯度反向传播？
• RQ2 可饱和吸收是否足以在单一光学机制中同时实现非线性和梯度近似？
• RQ3 泵浦-探测方案能否在图像分类任务中实现与数字深度学习模型相当的训练性能？
• RQ4 在深层架构中，实现有效梯度近似和网络收敛所需的光学深度是多少？
• RQ5 所提出的方法是否与主流光学神经网络硬件设计兼容？

主要发现

• 所提出的光学反向传播方案在图像分类基准测试中实现了与最先进计算型深度学习模型相当的性能。
• 该方法完全依赖无源光学元件，因此可利用现有光学技术实现。
• 易于获得的光学深度足以支持精确的梯度近似和网络训练。
• 即使在包含多个连续梯度近似的深层网络中，该方法仍保持有效，表明对误差累积具有鲁棒性。
• 利用可饱和吸收可在单一物理机制中同时实现非线性和梯度调节，简化了光学架构。
• 泵浦-探测方案提供了无需主动反馈或电子干预的实用后向梯度近似。