[论文解读] A Theoretical Framework for Inference Learning

Nick Alonso, Beren Millidge+2 more|arXiv (Cornell University)|Jun 1, 2022

Neural Networks and Applications被引用 8

一句话总结

本文提出一个理论框架，表明推理学习（IL）近似于隐式随机梯度下降（隐式SGD），一种比标准反向传播（BP）更稳定的优化方法。作者推导出一种新型IL变体IL-prox，使其更贴近隐式SGD，显著提升了在各种学习率下的训练稳定性，同时在小批量训练中实现更快收敛，且在大批次任务中与BP性能相当。

ABSTRACT

Backpropagation (BP) is the most successful and widely used algorithm in deep learning. However, the computations required by BP are challenging to reconcile with known neurobiology. This difficulty has stimulated interest in more biologically plausible alternatives to BP. One such algorithm is the inference learning algorithm (IL). IL has close connections to neurobiological models of cortical function and has achieved equal performance to BP on supervised learning and auto-associative tasks. In contrast to BP, however, the mathematical foundations of IL are not well-understood. Here, we develop a novel theoretical framework for IL. Our main result is that IL closely approximates an optimization method known as implicit stochastic gradient descent (implicit SGD), which is distinct from the explicit SGD implemented by BP. Our results further show how the standard implementation of IL can be altered to better approximate implicit SGD. Our novel implementation considerably improves the stability of IL across learning rates, which is consistent with our theory, as a key property of implicit SGD is its stability. We provide extensive simulation results that further support our theoretical interpretations and also demonstrate IL achieves quicker convergence when trained with small mini-batches while matching the performance of BP for large mini-batches.

研究动机与目标

• 解决尽管推理学习（IL）表现强劲且具有生物合理性，但其理论理解仍显不足的问题。
• 阐明IL与反向传播（BP）在优化动态上的差异，尤其是在损失较高时的早期训练阶段。
• 构建一个数学基础坚实的框架，解释IL相较于BP在稳定性和性能上的优势。
• 设计一种新的IL变体IL-prox，使其更贴近隐式SGD，提升训练鲁棒性。
• 通过在监督和自监督任务中广泛模拟，验证理论假设。

提出的方法

• 推导IL的一般形式，称为广义IL（G-IL），以支持其优化行为的理论分析。
• 理论上证明G-IL近似于隐式随机梯度下降（隐式SGD），该方法以卓越的稳定性著称。
• 识别出使IL精确匹配隐式SGD所需的特定学习规则与超参数设置（如γbot、γtop、ε），从而导出IL-prox算法。
• 提出IL-prox作为IL的改进实现，通过归一化学习率和稳定性项（ε）强制执行类似邻近的更新。
• 结合理论分析与实证验证，比较IL-prox与BP、IL-SGD及其他变体在多个数据集和训练配置下的表现。
• 对超参数和学习率进行消融研究，以隔离所提修改的影响。

实验结果

研究问题

• RQ1 推理学习（IL）与显式和隐式随机梯度下降等标准优化方法有何关系？
• RQ2 为何IL在早期训练阶段（损失较大时）与BP显著偏离，却仍能实现稳定训练？
• RQ3 对标准IL算法进行何种修改，可使其更紧密逼近隐式SGD？
• RQ4 逼近隐式SGD是否能提升IL在生物合理训练场景下的稳定性和收敛速度？
• RQ5 IL-prox是否能在稳定性与收敛性方面超越BP和标准IL变体，特别是在小批量设置下？

主要发现

• IL近似于隐式随机梯度下降（隐式SGD），这是解释其鲁棒性的关键理论洞见。
• 所提出的IL-prox变体更紧密逼近隐式SGD，在广泛的学习率范围内（包括高达100的高值）表现出显著提升的稳定性。
• 在小批量训练（如批量大小为1）下，IL-prox的收敛速度优于BP，展现出在流式或在线学习场景中的优势。
• 在大批次设置（如64）下，IL-prox保持与BP相当的性能，证实其具备竞争力的准确性。
• 理论分析表明，IL-prox强制执行邻近更新规则，这有助于其稳定性和与隐式SGD的一致性。
• 实证结果表明，IL-prox在MNIST和CIFAR-10上的稳定性测试中，优于标准IL和BP，尤其在高学习率下表现更优。