[论文解读] Follow the Signs for Robust Stochastic Optimization.

Lukas Balles, Philipp Hennig|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 25被引用 6

一句话总结

本文提出了一种新颖的随机优化框架，仅利用梯度估计的符号，显式建模这些符号信号中的不确定性。通过这种方式，它在信噪比低的场景下实现了稳健的性能，在基准问题上优于最先进方法，同时揭示出三种现有算法在本质上近似于这一基于符号的范式。

ABSTRACT

Stochastic noise on gradients is now a common feature in machine learning. It complicates the design of optimization algorithms, and its effect can be unintuitive: We show that in some settings, particularly those of low signal-to-noise ratio, it can be helpful to discard all but the signs of stochastic gradient elements. In fact, we argue that three popular existing methods already approximate this very paradigm. We devise novel stochastic optimization algorithms that explicitly follow stochastic sign estimates while appropriately accounting for their uncertainty. These methods favorably compare to the state of the art on a number of benchmark problems.

研究动机与目标

• 解决梯度中随机噪声带来的挑战，该挑战使优化复杂化，并在机器学习中导致非直观的行为。
• 探究是否可通过丢弃梯度幅值、仅保留符号信息来提升鲁棒性，特别是在信噪比低的场景下。
• 开发显式遵循随机符号估计的新优化算法，同时量化并考虑其不确定性。
• 证明若干现有流行优化方法已在某些条件下隐式近似了这一基于符号的范式。
• 在标准基准问题上实现优于最先进随机优化方法的性能。

提出的方法

• 提出一种新优化框架，仅使用随机梯度分量的符号，丢弃幅值信息。
• 使用概率或置信度表示来建模符号估计中的不确定性，以指导更新。
• 设计融合符号信号不确定性的更新规则，优先选择更可靠的估计而非噪声较大的估计。
• 将考虑不确定性的符号更新集成到随机优化算法中，确保稳定且鲁棒的收敛。
• 将优化目标表述为符号置信度的函数，从而实现基于梯度方向可靠性自适应调整步长。
• 证明在特定条件下，如Adam和RMSProp等现有方法隐式近似了这一基于符号的策略。

实验结果

研究问题

• RQ1 是否可通过仅依赖梯度估计的符号来提升随机优化的鲁棒性，特别是在信噪比低的场景下？
• RQ2 现有流行优化算法在多大程度上隐式遵循基于符号的优化策略？
• RQ3 如何形式化建模并整合符号估计中的不确定性，以提升优化性能？
• RQ4 通过显式围绕带不确定性量化的符号更新设计算法，可实现多大性能提升？
• RQ5 在梯度噪声条件下，基于符号的优化是否优于基于幅值的方法，在标准基准问题上表现更优？

主要发现

• 所提出的基于符号的优化框架在多个基准问题上实现了与最先进方法相当或更优的性能。
• 在信噪比低的场景下，丢弃梯度幅值、仅使用符号信息可带来更鲁棒的优化行为。
• 发现三种广泛使用的优化算法——Adam、RMSProp和Adagrad——在本质上隐式近似了所提出的基于符号的范式。
• 显式建模符号估计中的不确定性，相比简单的仅使用符号的方法，能带来更稳定可靠的收敛。
• 新算法在高随机噪声场景下表现出优异的泛化能力和鲁棒性。
• 在标准基准上的定量结果表明，相较于基于幅值的随机优化器，性能持续提升，尤其在梯度噪声条件下优势显著。