[论文解读] Flexible Phase Dynamics for Bio-Plausible Contrastive Learning

Ezekiel Williams, Colin Bredenberg+1 more|arXiv (Cornell University)|Feb 24, 2023

Neural Networks and Reservoir Computing被引用 4

一句话总结

本文提出了一种生物上合理的对比学习框架，放松了双项对比学习中严格的时序与动力学约束。通过使用受重要性采样启发的随机梯度估计方法，实现了时序局部化、非周期性训练，且相位长度可变，无需精确的学习率调制——证明了在这些放松条件下，基于平衡的对比学习依然有效。

ABSTRACT

Many learning algorithms used as normative models in neuroscience or as candidate approaches for learning on neuromorphic chips learn by contrasting one set of network states with another. These Contrastive Learning (CL) algorithms are traditionally implemented with rigid, temporally non-local, and periodic learning dynamics that could limit the range of physical systems capable of harnessing CL. In this study, we build on recent work exploring how CL might be implemented by biological or neurmorphic systems and show that this form of learning can be made temporally local, and can still function even if many of the dynamical requirements of standard training procedures are relaxed. Thanks to a set of general theorems corroborated by numerical experiments across several CL models, our results provide theoretical foundations for the study and development of CL methods for biological and neuromorphic neural networks.

研究动机与目标

• 解决对比学习（CL）算法中刚性、周期性且非局部的训练动力学所导致的生物不可行性问题。
• 探究当关键动力学约束（如严格相位周期性与固定学习率）被放松时，基于平衡的CL方法是否仍能有效运行。
• 开发一种时序局部化、无偏的梯度估计方法，实现在CL中灵活的相位调度，同时不损害学习性能。
• 证明CL可在生物上合理系统中实现，通过最小化对辅助内存和精确时序控制的依赖。
• 为在脉冲神经硬件与计算神经科学模型中部署CL提供理论与实证基础。

提出的方法

• 提出一种随机梯度估计方法，每条梯度更新仅选择单个正样本或单个负样本，从而消除对同步、完整相位计算的需求。
• 利用重要性采样确保在随机相位选择与可变相位长度下，梯度估计仍保持无偏。
• 引入灵活的相位调度机制，其中相位长度被随机化或自适应调节，从而将学习与刚性周期性解耦。
• 将该方法应用于多种CL模型，包括RBMs与能量模型，使用标准SGD，并基于平均相位长度进行学习率缩放。
• 通过理论分析与数值实验，验证在放松动力学下梯度估计的渐近无偏性。
• 证明即使无学习率调制或固定相位持续时间，学习性能依然得以保持，使用合成数据与真实世界数据集（如MNIST、BAS）进行验证。

实验结果

研究问题

• RQ1 能否通过用随机采样替代确定性、周期性相位动力学，使双项对比学习实现时序局部化？
• RQ2 相位长度的可变性与缺乏精确学习率调制在多大程度上会降低或保持基于平衡的CL中的学习性能？
• RQ3 当相位动力学不再严格周期化或时序非局部时，是否仍能保持CL中渐近无偏的梯度估计？
• RQ4 所提出的方法是否能在生物上合理系统（如脉冲神经硬件或神经回路）中实现有效的表征学习？
• RQ5 正负相位持续时间的平衡能否动态优化，还是等时分配始终为最优？

主要发现

• 所提出的随机梯度估计方法即使在相位长度可变且随机的情况下，也能产生渐近无偏的梯度估计。
• 学习性能在显著放松时序约束下依然稳健：无需严格周期性或精确学习率调制。
• 在二值化MNIST数据集上，使用该方法训练的RBM在每条梯度更新中仅使用单个正样本或单个负样本，分类错误率约为10%。
• 发现正相位时间占比最优值高于0.5，表明等时分配并非总是最优。
• 该方法即使在相位长度随机分布时，也能在基于平衡的CL模型中实现有效学习，且使用平均相位长度来缩放学习率。
• 数值实验确认，该方法维持了稳定的训练动力学，并在多个CL模型（包括RBMs与前向-前向网络）中收敛至低训练误差。