[论文解读] Deep physical neural networks enabled by a backpropagation algorithm for arbitrary physical systems

Logan G. Wright, Tatsuhiro Onodera+5 more|arXiv (Cornell University)|Apr 27, 2021

Neural Networks and Reservoir Computing参考文献 42被引用 9

一句话总结

本文提出物理感知训练（Physics-Aware Training, PAT），一种基于反向传播的方法，可直接训练可调控的物理系统（如光子、机械和电子系统）作为深度物理神经网络（PNNs）。该方法通过利用物理系统的内在动力学，实现能效高、速度快的机器学习，支持端到端训练，无需依赖数字仿真或近似类比。

ABSTRACT

Deep neural networks have become a pervasive tool in science and engineering. However, modern deep neural networks' growing energy requirements now increasingly limit their scaling and broader use. We propose a radical alternative for implementing deep neural network models: Physical Neural Networks. We introduce a hybrid physical-digital algorithm called Physics-Aware Training to efficiently train sequences of controllable physical systems to act as deep neural networks. This method automatically trains the functionality of any sequence of real physical systems, directly, using backpropagation, the same technique used for modern deep neural networks. To illustrate their generality, we demonstrate physical neural networks with three diverse physical systems-optical, mechanical, and electrical. Physical neural networks may facilitate unconventional machine learning hardware that is orders of magnitude faster and more energy efficient than conventional electronic processors.

研究动机与目标

• 通过利用物理系统进行计算，克服传统深度神经网络（DNNs）在能效和可扩展性方面的局限性。
• 开发一种直接优化物理系统作为神经网络的训练框架，绕过数字仿真或近似类比。
• 展示使用反向传播直接训练多样化物理系统（如光学、机械和电子系统）的通用性与高效性。
• 通过利用物理系统的自然动力学作为计算原语，实现高速、低能耗的机器学习。
• 为非传统机器学习硬件建立基础，使其在速度和能效方面超越电子处理器。

提出的方法

• 提出物理感知训练（PAT），一种混合物理-数字算法，将反向传播直接应用于物理系统，以训练其可调控参数。
• 将输入数据和可训练参数编码为物理系统的初始条件和控制变量，如力分布、光脉冲振幅或模拟电压。
• 使用可微分物理仿真计算损失相对于物理参数的梯度，实现通过真实物理动力学的端到端反向传播。
• 将数字DNN中使用的相同反向传播原理应用于训练物理系统，即使其动力学复杂或非线性。
• 采用可微分仿真框架来建模物理系统演化并计算梯度，即使存在噪声、非线性和器件差异等非理想因素。
• 级联多个物理层以构成深度PNN，其中每一层执行可调控、可微分的变换，类似于神经网络层。

实验结果

研究问题

• RQ1 是否可以不依赖数字仿真，直接将反向传播应用于真实物理系统，将其训练为深度神经网络？
• RQ2 如何训练具有复杂非线性动力学的物理系统，以执行类似于深度神经网络的分层计算？
• RQ3 物理神经网络（PNNs）在能效和速度方面相较于传统电子DNNs的优势程度如何？
• RQ4 PNNs能否在光学、机械和电子等多种物理平台上实现通用化？
• RQ5 何种训练方法可在存在噪声、非线性及器件差异等物理缺陷的情况下实现鲁棒学习？

主要发现

• 物理感知训练（PAT）成功实现了对任意物理系统（包括光学、机械和电子平台）的端到端反向传播。
• 该方法无需数字仿真或近似数学类比即可直接训练物理系统，克服了先前方法的局限性。
• 基于非线性光学中二次谐波产生（SHG）的PNN成功实现了对复杂映射的有效学习，验证了该方法在真实物理系统上的可行性。
• 基于悬空金属板和麦克风的机械PNN成功通过多模态振荡模式学习了输入模式的分类。
• 基于模拟电路的电子PNN实现了可训练的非线性变换，证明了其在传统电子硬件中的可行性。
• 该框架通过采用就地参数存储和多维布局等设计策略，以极低的额外能耗支持PNN的训练，具备良好的可扩展性。