[论文解读] Agnostic Physics-Driven Deep Learning

Benjamin Scellier, Siddhartha Mishra+2 more|arXiv (Cornell University)|May 30, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了无监督平衡传播（Æqprop），一种基于物理的机器学习框架，可在无需显式计算梯度或事先知晓系统解析能量函数的情况下，实现物理系统中的梯度下降。通过将模型参数视为动态变量以最小化系统能量，并利用微调（nudging）诱导参数更新，Æqprop 通过物理动力学实现真正的一阶优化，从而在生物系统和模拟系统中实现高效、硬件无关的机器学习。

ABSTRACT

This work establishes that a physical system can perform statistical learning without gradient computations, via an Agnostic Equilibrium Propagation (Aeqprop) procedure that combines energy minimization, homeostatic control, and nudging towards the correct response. In Aeqprop, the specifics of the system do not have to be known: the procedure is based only on external manipulations, and produces a stochastic gradient descent without explicit gradient computations. Thanks to nudging, the system performs a true, order-one gradient step for each training sample, in contrast with order-zero methods like reinforcement or evolutionary strategies, which rely on trial and error. This procedure considerably widens the range of potential hardware for statistical learning to any system with enough controllable parameters, even if the details of the system are poorly known. Aeqprop also establishes that in natural (bio)physical systems, genuine gradient-based statistical learning may result from generic, relatively simple mechanisms, without backpropagation and its requirement for analytic knowledge of partial derivatives.

研究动机与目标

• 为克服现有物理学习方法依赖于能量函数导数和参数更新机制显式知识的局限性。
• 实现在内部动力学机制不明确或未知的物理系统中的基于梯度的学习。
• 消除训练过程中存储中间平衡态的需要，这是物理实现中的主要瓶颈。
• 证明一阶优化——等价于随机梯度下降——可从能量最小化和微调等简单物理机制中自然涌现。
• 建立一种学习过程本质上与硬件无关的框架，适用于任何具有足够自由度的可控物理系统。

提出的方法

• 将可训练参数视为如同状态变量一样最小化系统能量函数的浮动变量。
• 在第一阶段使用控制旋钮维持参数于当前值，确保稳定初始化。
• 在第二阶段对输出能量函数施加微小扰动（即微调），引导系统趋向期望响应。
• 从微调下平衡态的变化中推导出参数更新，证明该变化等价于一次真正的梯度步长。
• 采用李雅普诺夫函数证明收敛性与稳定性，即使在大步长下也具有损失减少的理论保证。
• 仅依赖外部操作（输入、控制旋钮、微调），无需显式梯度计算或对偏导数的解析知识。

实验结果

研究问题

• RQ1 是否可以在无需显式梯度计算或能量函数解析形式知识的情况下，在物理系统中实现梯度下降？
• RQ2 是否可以仅通过物理动力学直接诱导物理系统中的参数更新，而无需依赖外部数字控制或非易失性存储？
• RQ3 所提出的方法是否在大步长下提供强于标准随机梯度下降的收敛保证？
• RQ4 是否可将学习过程完全嵌入系统的物理定律中，实现硬件无关的机器学习？
• RQ5 是否仅通过能量最小化和微调即可在物理系统中实现一阶优化，而无需反向传播或显式导数计算？

主要发现

• Æqprop 通过物理动力学在每个训练样本上实现一次完整的随机梯度下降步骤，无需显式梯度计算。
• 该方法对能量函数的解析形式完全无感，仅需对外部控制和系统状态进行观测。
• Æqprop 中的参数更新与损失函数的真正梯度步长完全一致，如定理1所证明。
• Æqprop 的悲观变体（Pessimistic variant）在每一步均保证损失函数的紧界减少，即使学习率较大亦成立。
• 该方法消除了存储首个平衡态的需求，克服了以往 Eqprop 类方法的关键限制。
• Æqprop 实现了在参数未预先定义或存储的系统中端到端的物理学习，例如模拟或生物硬件。