[论文解读] Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop.

Samy Wu Fung, Howard Heaton+4 more|arXiv (Cornell University)|Mar 23, 2021

Model Reduction and Neural Networks参考文献 36被引用 15

一句话总结

本文提出固定点网络（FPNs），一种新颖的隐式深度模型，通过网络权重和输入数据保证收敛至唯一固定点。该方法提出一种无雅可比矩阵反向传播（JFB）方案，避免求解昂贵的雅可比方程，实现固定内存训练，计算成本更低，同时在分类任务中达到最先进性能。

ABSTRACT

A growing trend in deep learning replaces fixed depth models by approximations of the limit as network depth approaches infinity. This approach uses a portion of network weights to prescribe behavior by defining a limit condition. This makes network depth implicit, varying based on the provided data and an error tolerance. Moreover, existing implicit models can be implemented and trained with fixed memory costs in exchange for additional computational costs. In particular, backpropagation through implicit depth models requires solving a Jacobian-based equation arising from the implicit function theorem. We propose fixed point networks (FPNs), a simple setup for implicit depth learning that guarantees convergence of forward propagation to a unique limit defined by network weights and input data. Our key contribution is to provide a new Jacobian-free backpropagation (JFB) scheme that circumvents the need to solve Jacobian-based equations while maintaining fixed memory costs. This makes FPNs much cheaper to train and easy to implement. Our numerical examples yield state of the art classification results for implicit depth models and outperform corresponding explicit models.

研究动机与目标

• 解决现有隐式深度模型在反向传播过程中需求解复杂雅可比矩阵方程导致的计算低效问题。
• 开发一种隐式深度模型的训练方法，实现固定内存使用且不产生高计算开销。
• 通过稳定且依赖权重与数据的机制，确保前向传播收敛至唯一固定点。
• 通过简化实现与降低训练成本，实现隐式深度模型的实际部署。

提出的方法

• FPNs 将前向传播定义为迭代推理的极限，其中网络权重与输入数据共同决定唯一固定点。
• 该方法利用压缩映射定理，保证迭代过程收敛至唯一解。
• 提出一种新颖的无雅可比矩阵反向传播（JFB）方案，通过基于固定点迭代的递归梯度更新避免显式计算雅可比矩阵。
• JFB 方案通过仅存储最终固定点与中间激活值，而非完整计算图，保持恒定内存使用。
• 反向传播通过隐函数定理推导的递归公式计算，无需求解涉及雅可比矩阵的线性系统。
• 该框架与标准深度学习优化工具兼容，可对现有训练流程进行最小修改实现。

实验结果

研究问题

• RQ1 隐式深度模型能否在反向传播过程中避免求解计算昂贵的雅可比矩阵方程，实现高效训练？
• RQ2 在实际条件下，深度网络中的固定点迭代方案是否能保证收敛至唯一解？
• RQ3 无雅可比矩阵反向传播方法能否在保持固定内存使用的同时，相比现有隐式模型降低训练成本？
• RQ4 FPNs 在标准基准测试中与显式深度模型及其他隐式深度架构相比，性能如何？

主要发现

• FPNs 在隐式深度模型中实现了最先进分类准确率，优于显式与隐式基线模型。
• 所提出的无雅可比矩阵反向传播（JFB）方案避免了求解涉及雅可比矩阵的线性系统，显著降低训练成本。
• 该方法在整个训练过程中保持固定内存使用，支持大规模数据集的高效训练。
• 在温和条件下可保证收敛至唯一固定点，确保前向推理稳定且可预测。
• FPNs 的实现简单，与标准深度学习框架兼容，有利于广泛采用。
• 数值实验表明，FPNs 在计算开销更低的前提下，性能优于现有隐式深度模型。