[论文解读] Learning to Adapt by Minimizing Discrepancy

Alexander G. Ororbia, Patrick Haffner+2 more|arXiv (Cornell University)|Nov 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 57被引用 11

一句话总结

本文提出了时序神经编码网络（TNCN）和一种称为差异减少的学习算法，该算法可在无需时间反向传播的情况下实现端到端、生物上合理的无监督序列建模。通过在递归反馈中最小化自上而下的生成预测与自下而上的感觉输入之间的局部预测差异，该模型在弹跳小球生成建模任务中取得了具有竞争力的性能，展示了在循环架构中替代反向传播的可行性。

ABSTRACT

We explore whether useful temporal neural generative models can be learned from sequential data without back-propagation through time. We investigate the viability of a more neurocognitively-grounded approach in the context of unsupervised generative modeling of sequences. Specifically, we build on the concept of predictive coding, which has gained influence in cognitive science, in a neural framework. To do so we develop a novel architecture, the Temporal Neural Coding Network, and its learning algorithm, Discrepancy Reduction. The underlying directed generative model is fully recurrent, meaning that it employs structural feedback connections and temporal feedback connections, yielding information propagation cycles that create local learning signals. This facilitates a unified bottom-up and top-down approach for information transfer inside the architecture. Our proposed algorithm shows promise on the bouncing balls generative modeling problem. Further experiments could be conducted to explore the strengths and weaknesses of our approach.

研究动机与目标

• 开发一种适用于循环神经网络的生物上合理的学习算法，避免对全局误差进行反向传播。
• 通过在分层递归架构中最小化局部预测差异，实现无监督、增量式的时间序列学习。
• 探究是否可通过测量为局部重建误差的高层目标，引导有效的表征学习，而无需依赖输入空间的损失函数。
• 设计一种模型，模仿大脑中的预测编码原理，利用局部反馈连接生成用于误差校正的内部目标。
• 通过弹跳小球问题这一具有挑战性的无监督序列生成任务，评估模型在泛化与表征学习方面的性能表现。

提出的方法

• 时序神经编码网络（TNCN）是一种具有结构和时间反馈连接的全循环架构，能够通过信息传播循环生成局部学习信号。
• 差异减少学习算法在每一层计算自上而下的生成预测与自下而上的感觉输入之间的局部预测误差。
• 通过仅使用局部信息的迭代权重更新，最小化这些差异，从而调整网络的内部表征以更好地匹配观测数据。
• 该模型采用分层结构，高层生成更抽象、经误差校正的表征目标供低层使用，逐步提升预测准确性。
• 学习过程是增量式且自适应的，适用于流式数据和在线学习场景。
• 该算法避免了权重传输问题，且无需存储梯度，与生物合理性一致。

实验结果

研究问题

• RQ1 基于局部差异最小化的生物上合理学习算法是否能在无监督序列建模中实现具有竞争力的性能？
• RQ2 具有反馈连接的全循环架构是否能在无需时间反向传播的情况下学习到有意义的时间表征？
• RQ3 在分层各层中最小化局部预测误差，是否能带来优于基于标准反向传播模型的生成建模性能？
• RQ4 仅使用局部、自下而上和自上而下的信息，模型是否能实现表征学习的全局一致性？
• RQ5 增加能够生成局部目标的中间层，如何影响模型重建复杂序列动态的能力？

主要发现

• 3-TNCN模型在弹跳小球基准测试中取得了 $3.03 \pm 0.14$ 的测试误差，优于多个依赖时间反向传播的先前模型。
• 5-TNCN模型取得了 $2.79 \pm 0.39$ 的测试误差，表明更深的架构可通过更优的误差校正进一步提升性能。
• 增加能够生成局部目标的神经元层显著提升了模型性能，表明局部目标可有效引导表征学习。
• 尽管未使用反向传播，模型性能仍具竞争力，表明局部差异最小化可作为有效的替代学习规则。
• 该算法的增量式与自适应特性使其非常适合在线学习与终身学习场景，其中数据按顺序到达。
• 结果支持如下假设：通过测量局部重建损失得到的高层目标，可引导循环网络中一致且全局协调的表征学习。