[论文解读] $\mathcal{G}$-SGD: Optimizing ReLU Neural Networks in its Positively Scale-Invariant Space

Qi Meng, Shuxin Zheng+4 more|arXiv (Cornell University)|Feb 11, 2018

Stochastic Gradient Optimization Techniques参考文献 34被引用 4

一句话总结

本文提出G-SGD，一种新型优化算法，通过在称为G空间的正则尺度不变空间中训练ReLU神经网络，实现了显著优于标准SGD的泛化性能。G空间由在正权重缩放下保持不变的基路径构成。通过利用逆链式法则和权重分配实现高效的梯度计算，G-SGD在CIFAR-10和CIFAR-100上均取得优异表现，测试准确率分别达到94.67%和75.20%，且在正则化条件下表现更优。

ABSTRACT

It is well known that neural networks with rectified linear units (ReLU) activation functions are positively scale-invariant. Conventional algorithms like stochastic gradient descent optimize the neural networks in the vector space of weights, which is, however, not positively scale-invariant. This mismatch may lead to problems during the optimization process. Then, a natural question is: \emph{can we construct a new vector space that is positively scale-invariant and sufficient to represent ReLU neural networks so as to better facilitate the optimization process }? In this paper, we provide our positive answer to this question. First, we conduct a formal study on the positive scaling operators which forms a transformation group, denoted as $\mathcal{G}$. We show that the value of a path (i.e. the product of the weights along the path) in the neural network is invariant to positive scaling and prove that the value vector of all the paths is sufficient to represent the neural networks under mild conditions. Second, we show that one can identify some basis paths out of all the paths and prove that the linear span of their value vectors (denoted as $\mathcal{G}$-space) is an invariant space with lower dimension under the positive scaling group. Finally, we design stochastic gradient descent algorithm in $\mathcal{G}$-space (abbreviated as $\mathcal{G}$-SGD) to optimize the value vector of the basis paths of neural networks with little extra cost by leveraging back-propagation. Our experiments show that $\mathcal{G}$-SGD significantly outperforms the conventional SGD algorithm in optimizing ReLU networks on benchmark datasets.

研究动机与目标

• 解决ReLU网络的正则尺度不变性与标准权重空间中非不变优化之间的不匹配问题。
• 正式定义一个可完全表示ReLU神经网络的正则尺度不变向量空间（G空间）。
• 设计一种高效的随机梯度下降算法（G-SGD），在G空间中优化，且计算成本可忽略不计。
• 通过实证验证，在G空间中优化可提升泛化性能，尤其在高正则尺度不变性条件下。

提出的方法

• 定义一个保持ReLU网络输出不变的正则缩放算子群G。
• 证明路径值（路径上权重的乘积）在G作用下保持不变，并在弱条件下，所有路径值可完全表示一个ReLU网络。
• 识别一组线性无关的最小路径集合（基路径），其值向量张成一个低维、不变的G空间。
• 通过逆链式法则和权重分配，构建一种高效反向传播基路径值梯度的计算方法。
• 通过优化基路径值向量而非完整权重向量，实现G-SGD，仅对标准反向传播进行最小修改。
• 在G空间中集成正则化（如基路径范数），以进一步提升泛化性能。

实验结果

研究问题

• RQ1 能否构建一个能完全表示ReLU神经网络的正则尺度不变空间？
• RQ2 在该不变空间（G空间）中优化是否能带来比标准SGD在权重空间中更优的优化动态与泛化性能？
• RQ3 G空间的维度与原始权重空间相比如何？其对优化效率有何影响？
• RQ4 正则尺度不变性对G-SGD相比SGD的性能增益有何影响？
• RQ5 G空间中的正则化能否进一步提升泛化性能？与权重空间中的权重范数正则化相比有何差异？

主要发现

• 在CIFAR-10上，G-SGD实现94.67%的测试准确率，优于使用权重衰减的SGD（91.25%），并超出报告的SOTA 3.42个百分点。
• 在CIFAR-100上，采用基路径正则化的G-SGD达到75.20%的测试准确率，优于使用权重衰减的SGD（74.39%），提升0.81个百分点。
• G-SGD的性能增益随正则尺度不变性增强而提高，证实当网络结构更具不变性时，G空间中的优化更有效。
• G-SGD以极低的计算开销实现这些性能提升，因为G空间中的梯度计算通过逆链式法则和权重分配被高效支持。
• G空间的维度比权重空间小H，其中H为隐藏单元总数，表明有效自由度显著降低。
• G空间中的正则化（如基路径范数）比权重空间中的权重衰减更有效，证明在不变的低维空间中优化具有优势。