[论文解读] Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data

Yiwen Kou, Zixiang Chen+1 more|arXiv (Cornell University)|Oct 29, 2023

Machine Learning and ELM被引用 4

一句话总结

本论文研究了在近正交数据上，两层 ReLU 和 Leaky ReLU 网络中梯度下降的隐式偏差，证明了梯度下降在 Leaky ReLU 网络中收敛至稳定秩为 1 的解，而在 ReLU 网络中收敛至有界稳定秩的解，同时所有训练样本在渐近意义上达到相同的归一化间隔。分析揭示了对数权重范数增长和 $\Theta(t^{-1})$ 的损失收敛速率，将先前针对梯度流的结果扩展至非光滑网络中的梯度下降。

ABSTRACT

The implicit bias towards solutions with favorable properties is believed to be a key reason why neural networks trained by gradient-based optimization can generalize well. While the implicit bias of gradient flow has been widely studied for homogeneous neural networks (including ReLU and leaky ReLU networks), the implicit bias of gradient descent is currently only understood for smooth neural networks. Therefore, implicit bias in non-smooth neural networks trained by gradient descent remains an open question. In this paper, we aim to answer this question by studying the implicit bias of gradient descent for training two-layer fully connected (leaky) ReLU neural networks. We showed that when the training data are nearly-orthogonal, for leaky ReLU activation function, gradient descent will find a network with a stable rank that converges to $1$, whereas for ReLU activation function, gradient descent will find a neural network with a stable rank that is upper bounded by a constant. Additionally, we show that gradient descent will find a neural network such that all the training data points have the same normalized margin asymptotically. Experiments on both synthetic and real data backup our theoretical findings.

研究动机与目标

• 理解非光滑神经网络（特别是 ReLU 和 Leaky ReLU 网络）中梯度下降的隐式偏差，此类偏差目前仍理解不足。
• 分析当训练数据为近正交时，梯度下降如何优化两层全连接网络，该条件使得理论分析成为可能。
• 在 ReLU 和 Leaky ReLU 激活函数下，建立权重矩阵在梯度下降下的收敛性质，包括稳定秩与归一化间隔。
• 将先前关于梯度流的结果扩展至梯度下降，特别是在非光滑设置下，提供严格的理论保证。

提出的方法

• 对两层 ReLU 和 Leaky ReLU 网络在近正交数据上的梯度下降动力学进行理论分析，其中数据满足 $\|\mathbf{x}_i\|_2^2 \geq Cn \max_{k \neq i} |\langle \mathbf{x}_i, \mathbf{x}_k \rangle|$。
• 通过分析神经元激活模式与权重矩阵演化，证明 Leaky ReLU 网络的稳定秩收敛至 1，ReLU 网络的稳定秩有界。
• 利用微分不等式技术和对数积分，推导出权重范数以 $\Theta(\log t)$ 的速率增长，损失以 $\Theta(t^{-1})$ 的速率衰减。
• 通过损失函数性质与梯度动力学的分析，证明所有训练数据点在渐近意义上达到相同的归一化间隔。
• 使用次高斯矩阵集中不等式（引理 H.3）以及对数不等式引理（H.4, H.5）来控制收敛分析中的关键项。
• 应用微分不等式技术（引理 H.1 和 H.2）以控制对数权重范数的增长，并推导收敛速率。

实验结果

研究问题

• RQ1 在近正交数据上训练的两层 ReLU 和 Leaky ReLU 网络中，梯度下降的隐式偏差是什么？
• RQ2 ReLU 和 Leaky ReLU 网络中，权重矩阵的稳定秩在梯度下降过程中如何演化？
• RQ3 梯度下降是否在渐近意义上使所有训练样本达到相同的归一化间隔？
• RQ4 在这些非光滑网络中，梯度下降下权重范数与训练损失的收敛速率是什么？
• RQ5 这些理论结果与先前在相同设置下对梯度流的分析相比如何？

主要发现

• 对于两层 Leaky ReLU 网络，梯度下降使权重矩阵的稳定秩收敛至 1，与 Frei 等人（2022b）的梯度流结果一致。
• 对于两层 ReLU 网络，权重矩阵的稳定秩被一个常数上界控制，一个示例表明在完全正交数据下其收敛至约 2。
• 梯度下降使权重范数以 $\Theta(\log t)$ 的速率增长，其中 $t$ 为迭代次数。
• 训练损失以 $\Theta(t^{-1})$ 的速率收敛至零，优于先前对平滑网络研究中 $O(t^{-1/2})$ 的收敛速率。
• 所有训练数据点在渐近意义上达到相同的归一化间隔，表明收敛至最大间隔解。
• 理论结果在合成数据集和真实世界数据集上均得到实验验证，确认了预测的收敛行为。