[论文解读] How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation

Yoshua Bengio|arXiv (Cornell University)|Jul 29, 2014

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 119

一句话总结

本文提出使用自编码器在深度网络中实现目标传播，以学习到的重建信号替代反向传播，从而减少对梯度的依赖。通过训练深层自编码器，从编码表示中重建输入，该方法通过层内局部训练信号提供一种生物上合理的信用分配机制，使具有非线性激活函数甚至离散单元的深度网络得以训练。

ABSTRACT

We propose to exploit {\em reconstruction} as a layer-local training signal for deep learning. Reconstructions can be propagated in a form of target propagation playing a role similar to back-propagation but helping to reduce the reliance on derivatives in order to perform credit assignment across many levels of possibly strong non-linearities (which is difficult for back-propagation). A regularized auto-encoder tends produce a reconstruction that is a more likely version of its input, i.e., a small move in the direction of higher likelihood. By generalizing gradients, target propagation may also allow to train deep networks with discrete hidden units. If the auto-encoder takes both a representation of input and target (or of any side information) in input, then its reconstruction of input representation provides a target towards a representation that is more likely, conditioned on all the side information. A deep auto-encoder decoding path generalizes gradient propagation in a learned way that can could thus handle not just infinitesimal changes but larger, discrete changes, hopefully allowing credit assignment through a long chain of non-linear operations. In addition to each layer being a good auto-encoder, the encoder also learns to please the upper layers by transforming the data into a space where it is easier to model by them, flattening manifolds and disentangling factors. The motivations and theoretical justifications for this approach are laid down in this paper, along with conjectures that will have to be verified either mathematically or experimentally, including a hypothesis stating that such auto-encoder mediated target propagation could play in brains the role of credit assignment through many non-linear, noisy and discrete transformations.

研究动机与目标

• 解决在深度、非线性且可能包含离散表示的深度学习中信用分配的挑战。
• 减少对反向传播的依赖及其在具有强非线性特性的深度或循环网络中的局限性。
• 探索自编码器是否可作为深度架构中梯度计算的有学习能力的局部替代方案。
• 提出一种通过使用重建结果作为目标来泛化反向传播的框架，可能实现对离散隐藏单元的训练。
• 研究该机制在生物学上的合理性，作为大脑中信用分配的可能模型。

提出的方法

• 采用深层自编码器架构，其中每一层学习从上一层表示中重建输入，使用输入和辅助信息（如标签）作为自编码器的输入。
• 训练自编码器，使得重建结果是输入的更可能版本，即朝更高似然方向进行小幅移动，从而泛化梯度下降。
• 通过将重建目标反向传播通过网络，利用自编码器的解码路径作为梯度传播的有学习能力的非线性泛化。
• 通过目标传播泛化梯度，以处理非无穷小的变化和离散变换，从而实现对具有离散隐藏单元的网络的训练。
• 使用编码器将数据转换到一个更易于上层建模的空间，以平坦化流形并解耦可变因素。
• 引入正则化，并可选地加入噪声或缺失输入，以提高鲁棒性并处理缺失模态。

实验结果

研究问题

• RQ1 自编码器的重建结果能否作为深度网络中信用分配的有效、有学习能力的目标？
• RQ2 通过自编码器实现的目标传播能否处理反向传播失效的强非线性及离散隐藏单元？
• RQ3 该方法是否提供一种生物上合理的信用分配机制，可作为大脑中信用分配的可能模型？
• RQ4 该方法能否将反向传播泛化到非无穷小变化，从而实现通过长链非线性操作的训练？
• RQ5 该方法如何扩展以处理模糊后验、缺失模态或时间依赖性？

主要发现

• 所提出的由自编码器中介的目标传播以有学习的非线性方式泛化了梯度传播，可能实现通过深度、非线性和离散变换的信用分配。
• 该方法通过使用局部计算和传播的重建信号，减少了对反向传播的依赖，为解决梯度消失/爆炸问题提供了潜在解决方案。
• 编码器学习生成更易于上层建模的表示，促进了流形平坦化和可变因素的解耦。
• 该框架支持条件自编码器，可利用辅助信息（如标签）引导重建，从而改善对结构化数据的建模。
• 该方法在理论上建立在重建可作为梯度计算代理的观念之上，具有与生物神经回路潜在相关性。
• 本文指出了在噪声注入、模态处理、循环网络和时间动力学方面存在的开放问题，提示了未来实证与理论验证的方向。