[论文解读] Implicitly Defined Layers in Neural Networks

Qianggong Zhang, Yanyang Gu+3 more|arXiv (Cornell University)|Mar 3, 2020

Medical Image Segmentation Techniques参考文献 38被引用 5

一句话总结

本文提出了一种前馈神经网络中隐式定义层的一般性框架，其中层的输出通过求解隐式方程而非显式函数来确定。通过利用隐函数定理与自动微分，该方法实现了此前难以处理的网络架构的端到端训练，在图匹配等任务中表现出更优的收敛性与性能。

ABSTRACT

In conventional formulations of multilayer feedforward neural networks, the individual layers are customarily defined by explicit functions. In this paper we demonstrate that defining individual layers in a neural network \emph{implicitly} provide much richer representations over the standard explicit one, consequently enabling a vastly broader class of end-to-end trainable architectures. We present a general framework of implicitly defined layers, where much of the theoretical analysis of such layers can be addressed through the implicit function theorem. We also show how implicitly defined layers can be seamlessly incorporated into existing machine learning libraries. In particular with respect to current automatic differentiation techniques for use in backpropagation based training. Finally, we demonstrate the versatility and relevance of our proposed approach on a number of diverse example problems with promising results.

研究动机与目标

• 为克服显式定义层在神经网络中的局限性，这些局限性限制了可训练架构的类别。
• 开发一种通用框架，通过形式为 $ F(y^{(k)}, y^{(k+1)}) = 0 $ 的方程隐式定义神经网络层，以实现更丰富的表征能力。
• 确保与现有自动微分与反向传播技术无缝集成，支持端到端训练。
• 在图匹配与矩阵优化等多样化机器学习问题上，展示隐式定义层的实际效用与鲁棒性。
• 证明隐式层可处理复杂约束（如双随机分配），而无需手动推导梯度。

提出的方法

• 通过方程 $ F(y^{(k)}, y^{(k+1)}) = 0 $ 隐式定义神经网络层，其中输出 $ y^{(k+1)} $ 为该方程的解。
• 应用隐函数定理，解析推导解对输入与参数的梯度，从而支持反向传播。
• 使用自动微分计算梯度，无需符号推导，简化实现过程，并支持如QCQP与KKT条件等复杂系统。
• 通过可微分优化层（如用于双随机分配的SMAC层）将隐式层集成到深度学习流程中。
• 将约束优化问题（如QCQP）形式化为隐式层，通过KKT条件与矩阵微分学求解。
• 在现有深度学习库中实现该框架，将隐式方程的解视为可微分层，与标准训练流程兼容。

实验结果

研究问题

• RQ1 神经网络层能否通过隐式方程而非显式函数来有意义地定义？若可，如何实现其训练？
• RQ2 如何在无需手动推导的情况下，高效计算通过隐式定义层的梯度？
• RQ3 与显式对应方法相比，隐式层在多大程度上提升了端到端可训练神经网络的表达能力与性能？
• RQ4 隐式层能否处理如双随机分配或同时包含等式与不等式约束的优化问题等复杂约束？
• RQ5 隐式层的集成在真实任务（如图匹配）中对收敛速度与鲁棒性有何影响？

主要发现

• 隐式定义的层相比显式定义的层，提供了严格更丰富的神经网络架构类别，因为其可表示无法以闭式表达的函数。
• 该框架实现了涉及复杂优化问题（如QCQP与基于KKT的求解器）的模型的端到端训练，而无需符号梯度推导。
• 在CUB-200-2011数据集上，SMAC层（用于双随机分配的隐式层）相比PI方法实现了更快的收敛速度与更高的准确率，PCK分数随训练迭代持续提升。
• 使用自动微分处理隐式层，消除了对复杂梯度（如公式(45)中的KKT系统）手动推导的需求，极大简化了实现过程。
• SMAC层直接生成双随机分配向量，相比无约束求解器，对噪声与异常值具有更好的鲁棒性。
• 所提出方法在矩阵分解与图匹配等多样化任务中展现出实际优势，训练动态与解的质量均持续提升。