[论文解读] Projection-Free Adaptive Gradients for Large-Scale Optimization

Cyrille W. Combettes, Christoph Spiegel+1 more|arXiv (Cornell University)|Sep 29, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用 5

一句话总结

该论文提出 AdaSFW，一种用于大规模约束优化的无投影自适应梯度方法，通过使用固定次数的 Frank-Wolfe 迭代来求解非欧几里得投影子问题，将自适应步长整合到随机 Frank-Wolfe 算法中。该方法在神经网络训练任务中，特别是在非凸设置下，相比最先进随机 Frank-Wolfe 和自适应梯度方法，实现了更快的收敛速度和更优的测试准确率。

ABSTRACT

The complexity in large-scale optimization can lie in both handling the objective function and handling the constraint set. In this respect, stochastic Frank-Wolfe algorithms occupy a unique position as they alleviate both computational burdens, by querying only approximate first-order information from the objective and by maintaining feasibility of the iterates without using projections. In this paper, we improve the quality of their first-order information by blending in adaptive gradients. We derive convergence rates and demonstrate the computational advantage of our method over the state-of-the-art stochastic Frank-Wolfe algorithms on both convex and nonconvex objectives. The experiments further show that our method can improve the performance of adaptive gradient algorithms for constrained optimization.

研究动机与目标

• 解决投影型自适应梯度方法在大规模约束优化中的计算低效问题。
• 通过整合自适应梯度，提升随机 Frank-Wolfe 算法中一阶信息的质量。
• 开发一种无投影框架，利用自适应步长而无需昂贵的投影计算。
• 展示所提方法相较于现有随机 Frank-Wolfe 和自适应梯度算法在计算效率和收敛性方面的优势。
• 在凸与非凸目标上评估该方法，特别是在具有约束层的深度学习设置中。

提出的方法

• 该方法用固定次数 K 次 Frank-Wolfe 迭代来近似求解自适应梯度算法中的精确非欧几里得投影子问题。
• 其采用基于历史一阶信息的自适应步长，类似于 Adam 或 AdaGrad，但应用于无投影设置。
• 提出一个通用模板，可适用于多种随机 Frank-Wolfe 变体，包括 SFW、SVRF、STORC 和 CSFW。
• 该算法通过仅依赖约束集上的线性最小化预言机，保持迭代点的可行性，无需投影。
• 引入一种带动量的变体 AdamSFW，受 Adam 和 AMSGrad 启发，以进一步提升收敛性能。
• 该方法在整个训练过程中使用恒定小批量大小，避免了随时间调整小批量大小的需求。

实验结果

研究问题

• RQ1 能否有效将自适应梯度整合到无投影随机 Frank-Wolfe 算法中，以提升收敛速度和性能？
• RQ2 通过少量 Frank-Wolfe 迭代求解自适应梯度子问题，是否能在降低计算成本的同时保持收敛性保证？
• RQ3 在神经网络的训练和测试性能方面，该方法相较于最先进随机 Frank-Wolfe 和自适应梯度算法表现如何？
• RQ4 该方法能否提升原始 SFW 在非凸优化中的性能，特别是在具有约束层的深度学习中？
• RQ5 该方法的计算优势在投影代价较高的复杂约束集上是否更加显著？

主要发现

• 在 IMDB 情感分析任务中，AdaSFW 达到了最佳测试准确率，收敛速度更快且准确率更高，优于所有基线方法，包括 AdamSFW 和 AdaGrad。
• 在 CIFAR-10 图像分类任务中，AdaSFW 和 AdamSFW 均优于所有其他无投影算法，其中 AdaSFW 表现最强。
• 在 IMDB 和 CIFAR-10 上，原始 SFW 的测试准确率优于方差减少变体如 SVRF、SPIDER-FW 和 ORGFW，表明在深度学习中，方差减少并不总是能提升泛化性能。
• AdaSFW 在凸与非凸设置下均优于原始 SFW，证明了其在约束深度学习中的有效性。
• 该方法通过使用恒定小批量大小，保持了计算效率，避免了像 SVRF 和 STORC 那样需要增加小批量大小。
• 结果表明，自适应梯度可成功应用于无投影优化，尤其在投影代价较高的复杂约束集上更具优势。