[论文解读] Monotone operator equilibrium networks

Ezra Winston, J. Zico Kolter|arXiv (Cornell University)|Jun 15, 2020

Machine Learning and ELM参考文献 26被引用 13

一句话总结

本文提出了一类新型隐式深度神经网络——单调算子平衡网络（monDEQ），通过利用单调算子理论，确保了唯一且稳定的平衡解。通过参数化网络以保证单调性，并采用高效的算子分裂求解器（如Peaceman-Rachford），monDEQ在准确率和效率方面均优于神经ODE和标准DEQ，在CIFAR-10上的表现比增强型神经ODE高出15.1%，且函数评估次数显著更少。

ABSTRACT

Implicit-depth models such as Deep Equilibrium Networks have recently been shown to match or exceed the performance of traditional deep networks while being much more memory efficient. However, these models suffer from unstable convergence to a solution and lack guarantees that a solution exists. On the other hand, Neural ODEs, another class of implicit-depth models, do guarantee existence of a unique solution but perform poorly compared with traditional networks. In this paper, we develop a new class of implicit-depth model based on the theory of monotone operators, the Monotone Operator Equilibrium Network (monDEQ). We show the close connection between finding the equilibrium point of an implicit network and solving a form of monotone operator splitting problem, which admits efficient solvers with guaranteed, stable convergence. We then develop a parameterization of the network which ensures that all operators remain monotone, which guarantees the existence of a unique equilibrium point. Finally, we show how to instantiate several versions of these models, and implement the resulting iterative solvers, for structured linear operators such as multi-scale convolutions. The resulting models vastly outperform the Neural ODE-based models while also being more computationally efficient. Code is available at http://github.com/locuslab/monotone_op_net.

研究动机与目标

• 解决现有隐式深度模型（如深度平衡网络（DEQs）和神经ODE）中存在的不稳定性和解的存在性与唯一性缺乏保证的问题。
• 开发一种框架，通过单调算子理论确保隐式网络中平衡点的存在性与唯一性。
• 设计高效、稳定的迭代求解器，利用算子分裂方法计算平衡点。
• 证明单调参数化可在标准视觉基准上实现高性能与计算效率。
• 提供一种理论基础扎实、实用性强的替代方案，相较于传统深度网络，具有更高的内存效率和收敛稳定性。

提出的方法

• 该模型基于在权重共享网络中寻找平衡点与求解单调算子分裂问题之间的等价性。
• 通过网络权重的参数化设计，确保所有算子保持单调性，从而保证平衡点的存在性与唯一性。
• 前向传播通过算子分裂算法（如前向-后向分裂和Peaceman-Rachford分裂）求解，这些方法已被证明具有全局收敛性。
• 反向传播通过隐函数定理实现，后向传播中形成一个具有唯一解的对偶算子分裂问题。
• 对于卷积层，使用快速傅里叶变换高效求逆线性算子，从而实现在多尺度卷积上的可扩展训练。
• 该框架支持多种架构，包括全连接、全卷积和多级卷积网络，通过迭代求解器实现高效实现。

实验结果

研究问题

• RQ1 能否利用单调算子理论在隐式深度网络中保证唯一且稳定的平衡解？
• RQ2 如何设计网络参数化方式以保持单调性并确保解的存在性？
• RQ3 像Peaceman-Rachford这样的算子分裂方法是否能在隐式网络中实现比标准固定点求解器更快、更稳定的收敛？
• RQ4 在标准视觉基准上，monDEQ与神经ODE和DEQ相比，在准确率和效率方面表现如何？
• RQ5 在平衡网络的背景下，能否通过如FFT这样的谱方法高效求逆结构化线性算子（如卷积）？

主要发现

• 仅含单个卷积层的小型monDEQ在CIFAR-10上比增强型神经ODE高出15.1%的准确率，达到87.2%的测试准确率。
• 所有monDEQ在CIFAR-10、SVHN和MNIST上均显著优于基于ODE的模型，仅在MNIST的全连接模型上例外。
• 未加约束权重的标准DEQ即使使用300次Broyden迭代，也在前几个训练周期内发散，而monDEQ始终保持稳定。
• 更大的monDEQ在使用数据增强的情况下，于CIFAR-10上达到了89%的测试准确率，缩小了与传统深度网络的差距。
• monDEQ在CIFAR-10上的训练耗时1.4小时（17万参数），而神经ODE和ANODE分别耗时4.4小时和3.3小时，且每小批量仅需20次函数评估。
• 当最优调参时，Peaceman-Rachford分裂的收敛速度优于前向-后向分裂，且对步长α的依赖关系呈非单调特性。