[论文解读] Cogradient Descent for Bilinear Optimization

Li’an Zhuo, Baochang Zhang+6 more|arXiv (Cornell University)|Jun 16, 2020

Sparse and Compressive Sensing Techniques参考文献 29被引用 5

一句话总结

该论文提出了一种名为 CoGD（Cogradient Descent）的新优化算法，用于双线性模型，通过基于投影的协调机制，同步耦合变量（如稀疏编码向量与变换矩阵）之间的梯度更新。通过解决异步收敛导致的梯度消失问题，CoGD 在图像重建、图像修复和神经网络剪枝任务中实现了最先进性能，FLOPs 最多降低 0.35×，且在 ImageNet 上仅造成 0.62% 的准确率下降。

ABSTRACT

Conventional learning methods simplify the bilinear model by regarding two intrinsically coupled factors independently, which degrades the optimization procedure. One reason lies in the insufficient training due to the asynchronous gradient descent, which results in vanishing gradients for the coupled variables. In this paper, we introduce a Cogradient Descent algorithm (CoGD) to address the bilinear problem, based on a theoretical framework to coordinate the gradient of hidden variables via a projection function. We solve one variable by considering its coupling relationship with the other, leading to a synchronous gradient descent to facilitate the optimization procedure. Our algorithm is applied to solve problems with one variable under the sparsity constraint, which is widely used in the learning paradigm. We validate our CoGD considering an extensive set of applications including image reconstruction, inpainting, and network pruning. Experiments show that it improves the state-of-the-art by a significant margin.

研究动机与目标

• 解决在优化耦合变量时，由于异步梯度下降导致的次优收敛与梯度消失问题。
• 建立一个理论框架，利用投影函数协调隐藏变量之间的梯度，确保同步优化。
• 提升在稀疏性约束下的双线性问题性能，特别是在卷积稀疏编码（CSC）与神经网络剪枝中的表现。
• 证明现有方法将双线性因子视为独立变量，会导致启发式简化，从而降低优化质量。
• 提供一个可泛化的优化框架，提升双线性学习任务中的收敛速度与解的质量。

提出的方法

• 引入一个投影函数，用于建模双线性模型中两个隐藏变量（如 A 和 x）之间的耦合关系，实现梯度的协同更新。
• 将优化问题表述为最小化复合目标函数：‖b − Ax‖₂² + λ‖x‖₁ + R(A)，其中 x 为稀疏变量，A 为变换矩阵。
• 用考虑相互依赖关系的同步梯度下降策略，替代标准的交替优化方法。
• 在其中一个变量上应用 ℓ₁ 正则化，利用傅里叶域中的软阈值化方法，实现高效的 ℓ₁ 最小化。
• 将 CoGD 集成到现有框架中，如 CSC 和 CNN 剪枝，用新的梯度协调机制替代标准 SGD 或基于 ADMM 的求解器。
• 采用改进的优化轨迹，按周期调整学习率与初始化策略，以增强收敛稳定性并避免陷入局部极小值。

实验结果

研究问题

• RQ1 通过在优化过程中显式建模两个隐藏变量之间的耦合关系，能否缓解双线性模型中的梯度消失问题？
• RQ2 与交替优化相比，同步耦合变量之间的梯度更新是否能带来更快且更稳定的收敛？
• RQ3 所提出的协调机制能否提升图像重建与网络剪枝等稀疏性约束下的双线性问题性能？
• RQ4 在标准基准测试中，CoGD 在准确率、FLOPs 降低与收敛速度方面，与最先进方法相比表现如何？
• RQ5 基于投影的协调框架是否可在不同双线性学习任务中通用，包括 CSC 与 CNN 剪枝？

主要发现

• 在 ResNet-50 上，CoGD 实现了 0.35× FLOPs 降低，且在 ImageNet 上仅造成 0.62% 的准确率下降，优于先前方法。
• 在 CIFAR-10 上，CoGD 将 FLOPs 降低 51%（降至 274.74M），准确率提升至 95.30%，优于标准 SGD 的 94.81%。
• 该方法实现了 CNN 剪枝中两个变量的同步收敛，防止其中一个变量停滞在局部极小值而另一个继续优化。
• 实验表明，CoGD 显著优于基线方法，在高稀疏度条件下图像重建与修复性能提升尤为明显。
• 消融研究证实，CoGD 的协调机制相比标准 SGD 能实现更快收敛与更好泛化能力。
• CoGD 与高效架构（如 MobileNetV2）兼容，实现 0.45× FLOPs 降低，且仅造成 0.18% 的准确率下降。