[论文解读] Difference Target Propagation

Dong‐Hyun Lee|arXiv (Cornell University)|Dec 23, 2014

Neural Networks and Applications参考文献 19被引用 13

一句话总结

本文提出差异目标传播（DTP），一种替代反向传播的生物可实现方法，通过使用自编码器计算每一层的目标而非梯度。DTP 采用线性校正以补偿自编码器的近似误差，从而实现对具有离散、随机和连续单元的深层网络的有效训练，在随机 MNIST 网络上实现了 1.54% 的测试误差，达到当前最优性能。

ABSTRACT

Back-propagation has been the workhorse of recent successes of deep learning but it relies on infinitesimal effects (partial derivatives) in order to perform credit assignment. This could become a serious issue as one considers deeper and more non-linear functions, e.g., consider the extreme case of nonlinearity where the relation between parameters and cost is actually discrete. Inspired by the biological implausibility of back-propagation, a few approaches have been proposed in the past that could play a similar credit assignment role. In this spirit, we explore a novel approach to credit assignment in deep networks that we call target propagation. The main idea is to compute targets rather than gradients, at each layer. Like gradients, they are propagated backwards. In a way that is related but different from previously proposed proxies for back-propagation which rely on a backwards network with symmetric weights, target propagation relies on auto-encoders at each layer. Unlike back-propagation, it can be applied even when units exchange stochastic bits rather than real numbers. We show that a linear correction for the imperfectness of the auto-encoders, called difference target propagation, is very effective to make target propagation actually work, leading to results comparable to back-propagation for deep networks with discrete and continuous units and denoising auto-encoders and achieving state of the art for stochastic networks.

研究动机与目标

• 为解决深层网络中反向传播在强非线性或离散单元行为下的生物不可行性和数学脆弱性。
• 开发一种不依赖精确导数或对称反馈权重的信用分配机制。
• 实现通过随机比特或离散值通信的单元进行有效深层网络训练。
• 提供一种对目标计算中自编码器近似误差具有鲁棒性的训练方法。

提出的方法

• 用目标传播替代反向传播：每一层基于损失梯度计算其激活的目标，而非梯度。
• 在每一层使用自编码器学习从激活到目标的逆映射，实现在无导数情况下的反馈。
• 引入线性校正项以补偿自编码器逆映射的不完美性，提升训练稳定性和准确性。
• 将相同的目标传播原理应用于无需反向传播的自编码器训练，使用重构损失。
• 采用层局部训练准则（如 delta 规则）使用计算出的目标独立更新每一层。
• 使用具有 sigmoid 概率的随机二值单元，并通过伯努利采样实现，以模拟尖峰神经元行为。

实验结果

研究问题

• RQ1 在具有连续单元的深层前馈网络中，基于自编码器反馈的目标传播能否实现与反向传播相当的性能？
• RQ2 差异目标传播能否有效训练具有离散或随机单元（如二值随机神经元）的深层网络？
• RQ3 与标准反向传播相比，目标传播在去噪自编码器上的表现如何？
• RQ4 目标传播能否用于无需反向传播的表示预训练？其生成的特征质量如何？
• RQ5 线性校正项（即差异目标传播）是否显著提升朴素目标传播的收敛性和准确性？

主要发现

• 在使用二值单元的随机网络上，差异目标传播在 MNIST 上实现了 1.54% 的测试误差，优于基线的直通梯度估计器。
• 该方法在随机 MNIST 上实现了最先进性能，优于此前使用其他方法报告的 1.63% 和 1.71% 结果。
• 带有线性校正的目标传播（DTP）即使在自编码器不完美时也能实现稳定且有效的训练，表现出对近似误差的鲁棒性。
• 通过 DTP 训练的自编码器学习到了有意义的类似笔画的滤波器，经反向传播微调后，测试误差达到 1.35%，与标准自编码器预训练结果相当。
• 在具有连续单元和去噪自编码器的深层网络上，DTP 表现与基于 RMSprop 的反向传播相当。
• 结果表明，目标传播适用于具有离散传输的网络训练，支持其作为生物可实现学习规则的潜力。