[论文解读] Deriving Differential Target Propagation from Iterating Approximate Inverses

Yoshua Bengio|arXiv (Cornell University)|Jul 29, 2020

Face and Expression Recognition参考文献 23被引用 18

一句话总结

本文提出了一种生物学上合理的学习规则——微分目标传播，该方法通过在各层使用可学习的自编码器来近似网络层的迭代逆函数，生成用于权重更新的目标。该方法在自编码器重构误差较小时能隐式执行高斯-牛顿优化，且无需矩阵求逆，收敛速度呈指数级；同时引入一种归一化方案，以优先考虑具有影响力的层。

ABSTRACT

We show that a particular form of target propagation, i.e., relying on learned inverses of each layer, which is differential, i.e., where the target is a small perturbation of the forward propagation, gives rise to an update rule which corresponds to an approximate Gauss-Newton gradient-based optimization, without requiring the manipulation or inversion of large matrices. What is interesting is that this is more biologically plausible than back-propagation yet may turn out to implicitly provide a stronger optimization procedure. Extending difference target propagation, we consider several iterative calculations based on local auto-encoders at each layer in order to achieve more precise inversions for more accurate target propagation and we show that these iterative procedures converge exponentially fast if the auto-encoding function minus the identity function has a Lipschitz constant smaller than one, i.e., the auto-encoder is coarsely succeeding at performing an inversion. We also propose a way to normalize the changes at each layer to take into account the relative influence of each layer on the output, so that larger weight changes are done on more influential layers, like would happen in ordinary back-propagation with gradient descent.

研究动机与目标

• 提出一种生物上合理的反向传播替代方法，通过在每一层使用可学习的逆函数，避免权重传输问题。
• 解决反向传播中对称权重共享与前向和反向传递非线性不匹配的生物学不现实性。
• 为目标传播提供理论基础，证明其在无需显式矩阵求逆的情况下近似高斯-牛顿优化。
• 通过基于局部自编码器的迭代反馈回路提高目标传播的精度，并保证收敛性。
• 基于层的影响对权重更新进行归一化，以模仿标准反向传播中梯度下降的行为。

提出的方法

• 在每一层使用局部自编码器来近似前向传递的逆函数，从而实现反馈目标的计算。
• 采用迭代反馈更新以优化目标，当自编码器的重构误差（相对于恒等映射）的利普希茨常数小于1时，收敛速度呈指数级。
• 推导出的更新规则在数学上等价于近似高斯-牛顿优化步骤，避免了显式计算海森矩阵或雅可比矩阵。
• 引入一种使用参数γ的归一化方案，以平衡数据驱动的激活与目标驱动的反馈，提升稳定性和收敛性。
• 应用一种松弛机制，使反馈单元同时被驱动向目标和当前前向激活，γ控制两者之间的权衡。
• 提出一种全局反馈回路扩展，使低层也通过优化上层的可逆性来提升整体网络的一致性。

实验结果

研究问题

• RQ1 在深层网络中，网络层的迭代近似逆函数能否提供一种稳定且高效的目标传播方法？
• RQ2 所提出的方法是否在无需显式矩阵求逆的情况下隐式执行高斯-牛顿优化？
• RQ3 迭代反馈过程在何种条件下收敛？收敛速度如何？
• RQ4 如何对每一层对最终输出的影响进行归一化，以确保有意义的权重更新？
• RQ5 反馈机制能否在全局范围内扩展，以改善层间的一致性，并通过时间实现信用分配？

主要发现

• 当自编码器的重构误差（相对于恒等映射）的利普希茨常数小于1时，所提出的微分目标传播方法收敛速度呈指数级。
• 从迭代反馈过程中推导出的更新规则在数学上等价于近似高斯-牛顿更新，其优化性能可能优于标准SGD。
• 该方法避免了存储或求逆大规模矩阵的需求，尽管近似了二阶优化，但计算效率仍较高。
• 通过参数γ实现的归一化确保了在更具影响力的层上执行更大的权重更新，与标准反向传播中梯度下降的行为一致。
• 反馈机制可被解释为一种正则化形式，倾向于选择更接近原始前向激活的解，从而增强稳定性。
• 该框架通过使用注意力机制选择相关历史事件，暗示了一条通过时间实现信用分配的路径，类似于稀疏注意力反向追踪。