[论文解读] Convergence of Deep ReLU Networks

Yuesheng Xu, Haizhang Zhang|arXiv (Cornell University)|Jul 27, 2021

Sparse and Compressive Sensing Techniques参考文献 21被引用 5

一句话总结

本文通过引入激活域和激活矩阵，将深层ReLU网络的收敛性重新表述为无穷矩阵积的收敛性，建立了当深度趋于无穷时深层ReLU网络的收敛条件。研究证明，为实现收敛，权重矩阵必须收敛到单位矩阵，偏置向量必须收敛到零向量，从而为残差网络（ResNets）在深度学习中的成功提供了理论依据。

ABSTRACT

We explore convergence of deep neural networks with the popular ReLU activation function, as the depth of the networks tends to infinity. To this end, we introduce the notion of activation domains and activation matrices of a ReLU network. By replacing applications of the ReLU activation function by multiplications with activation matrices on activation domains, we obtain an explicit expression of the ReLU network. We then identify the convergence of the ReLU networks as convergence of a class of infinite products of matrices. Sufficient and necessary conditions for convergence of these infinite products of matrices are studied. As a result, we establish necessary conditions for ReLU networks to converge that the sequence of weight matrices converges to the identity matrix and the sequence of the bias vectors converges to zero as the depth of ReLU networks increases to infinity. Moreover, we obtain sufficient conditions in terms of the weight matrices and bias vectors at hidden layers for pointwise convergence of deep ReLU networks. These results provide mathematical insights to the design strategy of the well-known deep residual networks in image classification.

研究动机与目标

• 研究当深度趋于无穷时，深层ReLU网络的收敛性，且不依赖于特定目标函数。
• 识别深层ReLU网络输出稳定至有意义极限函数的数学条件。
• 为深度残差网络（ResNets）的设计提供理论依据，该网络在图像分类任务中已达到最先进性能。
• 通过引入激活域和激活矩阵，形式化深层ReLU网络的行为，使网络动态可表示为矩阵积形式。

提出的方法

• 引入激活域的概念——输入空间的子区域，在这些区域内ReLU网络表现为线性函数。
• 将激活矩阵定义为对角矩阵（元素为0或1），用以表示每个激活域上ReLU单元的状态。
• 用激活矩阵的矩阵乘法替代ReLU的逐层应用，从而显式表示网络为一系列线性变换的复合。
• 将深层ReLU网络的收敛性重新表述为激活矩阵与权重矩阵的无穷矩阵积的收敛性。
• 应用矩阵积收敛性理论，推导收敛的必要与充分条件，使用范数和可 summability 条件。
• 利用诱导矩阵范数和指数界，验证在权重矩阵和偏置向量的可 summability 扰动下，无穷矩阵积的收敛性。

实验结果

研究问题

• RQ1 当权重矩阵和偏置向量满足何种条件时，深层ReLU网络在深度趋于无穷时实现点态收敛？
• RQ2 如何系统地分析并表示深层网络中ReLU激活引入的非线性？
• RQ3 支撑残差网络（ResNets）成功实现极深架构的数学结构是什么？
• RQ4 深层ReLU网络的收敛性能否简化为无穷矩阵积的收敛性？
• RQ5 恒等映射在训练和推理过程中对稳定深层ReLU网络起到何种作用？

主要发现

• 深层ReLU网络收敛的必要条件是：随着深度增加，权重矩阵序列收敛到单位矩阵，偏置向量序列收敛到零向量。
• 点态收敛的充分条件是：权重矩阵满足 $\mathbf{W}_n = I + \mathbf{P}_n$ 且 $\sum_{n=2}^\infty \|\mathbf{P}_n\| < \infty$，偏置向量满足 $\sum_{n=1}^\infty \|\mathbf{b}_n\| < \infty$。
• 网络的收敛性等价于无穷矩阵积的收敛性，该结论通过基于范数的可 summability 条件得以确立。
• 网络输出的极限满足 $\lim_{n\to\infty} \mathbf{W}_n \mathbf{x} + \mathbf{b}_n = \mathbf{x}$，表明深层网络施加的变换逐渐趋近于单位变换。
• 该理论框架支持残差网络的设计，其中残差块学习接近零的小残差函数，从而有效近似恒等映射。
• 研究结果为ResNets能在极端深度（如超过1000层）成功训练提供了数学基础，因为残差结构确保了稳定的梯度流动与收敛性。