[论文解读] Experimentally realized in situ backpropagation for deep learning in nanophotonic neural networks

Sunil Pai, Zhanghao Sun+12 more|arXiv (Cornell University)|May 17, 2022

Neural Networks and Reservoir Computing被引用 10

一句话总结

本论文通过实现一种可逆的向量到相位转换算法，首次在实验中实现了纳米光子神经网络中深度学习的原位反向传播框架，实现了通过实时相位与振幅控制的端到端训练。该方法采用可微分且与硬件兼容的相位更新规则，成功在概念验证的纳米光子系统中实现了高精度的片上反向传播。

ABSTRACT

Neural networks are widely deployed models across many scientific disciplines and commercial endeavors ranging from edge computing and sensing to large-scale signal processing in data centers. The most efficient and well-entrenched method to train such networks is backpropagation, or reverse-mode automatic differentiation. To counter an exponentially increasing energy budget in the artificial intelligence sector, there has been recent interest in analog implementations of neural networks, specifically nanophotonic neural networks for which no analog backpropagation demonstration exists. We design mass-manufacturable silicon photonic neural networks that alternately cascade our custom designed "photonic mesh" accelerator with digitally implemented nonlinearities. These reconfigurable photonic meshes program computationally intensive arbitrary matrix multiplication by setting physical voltages that tune the interference of optically encoded input data propagating through integrated Mach-Zehnder interferometer networks. Here, using our packaged photonic chip, we demonstrate in situ backpropagation for the first time to solve classification tasks and evaluate a new protocol to keep the entire gradient measurement and update of physical device voltages in the analog domain, improving on past theoretical proposals. Our method is made possible by introducing three changes to typical photonic meshes: (1) measurements at optical "grating tap" monitors, (2) bidirectional optical signal propagation automated by fiber switch, and (3) universal generation and readout of optical amplitude and phase. After training, our classification achieves accuracies similar to digital equivalents even in presence of systematic error. Our findings suggest a new training paradigm for photonics-accelerated artificial intelligence based entirely on a physical analog of the popular backpropagation technique.

研究动机与目标

• 通过克服仅相位光学元件的不可微性，实现在纳米光子硬件中直接进行反向传播训练。
• 开发一种从复数向量状态到可控相位与振幅参数的可逆、可微分映射，以实现实时优化。
• 通过与集成光子电路兼容的相位更新规则，实验证明光子神经网络的原位训练可行性。
• 通过提供可硬件实现的算法，弥合理论光子反向传播与实际实现之间的差距。

提出的方法

• Vec2Phase 函数通过使用旋转矩阵 T2(θm, ϕm) 的迭代旋转，将归一化的复数向量 x ∈ CN 映射为相位与振幅参数 (ϕ, θ)。
• 每次迭代应用一个酉变换，旋转向量在第 m 个与第 (m+1) 个分量之间的分量，使第 (m+1) 个分量归零，并更新相位与振幅。
• 相位 ϕm 由乘积 x1x2 的幅角推导得出，振幅 θm 通过 2arctan(|x1x2|) 计算，确保正确归一化。
• 反向的 Phase2Vec 函数可从相位与振幅参数重建原始向量，从而实现通过变换过程的梯度反向传播。
• 该算法设计为可微分且可逆，支持通过相位更新过程计算梯度。
• 通过将变换嵌入光子网络的训练循环中，该方法实现了端到端反向传播，适用于片上实现。

实验结果

研究问题

• RQ1 是否仅通过相位与振幅控制，无需外部重新配置，即可在纳米光子硬件中直接实现反向传播？
• RQ2 如何构建一种可微分、可逆的映射，将复数向量状态转换为可控的光学参数，以支持实时训练？
• RQ3 使用与硬件兼容的相位更新规则，在光子神经网络中实现原位训练的可行性如何？
• RQ4 所提出的算法在物理光子系统中迭代优化过程中是否能保持精度与稳定性？

主要发现

• Vec2Phase 与 Phase2Vec 函数在复数向量状态与可控相位及振幅参数之间提供了可逆、可微分的映射，使光学层的梯度计算成为可能。
• 该算法与集成光子电路兼容，因其仅依赖于可实现在纳米光子硬件中的相位延迟与分束器。
• 通过将变换嵌入训练循环，该方法支持端到端反向传播，实现参数的实时更新。
• 该变换确保了归一化与相位一致性，优化过程中保持了神经网络输出的完整性。
• 该方法通过使相位更新规则可微分且可硬件实现，实现了原位训练，克服了光子深度学习中的主要障碍。
• 概念验证实现证明了利用完全可微分、可逆的相位变换，在片上直接训练光子神经网络的可行性。