[论文解读] Exponentiated Gradient Meets Gradient Descent

Udaya Ghai, Elad Hazan+1 more|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 17被引用 10

一句话总结

本文提出了一种新型正则化方法——超熵（hypentropy），通过单一的类似温度的参数 β，统一了加法梯度下降与乘法指数梯度更新。该方法推导出适用于长方形矩阵的谱超熵变体，实现了比先前矩阵方法更紧致的 O(√(T log min{m,n})) 再次损失边界，且在多类学习与神经网络训练中表现出更强的实证性能。

ABSTRACT

The (stochastic) gradient descent and the multiplicative update method are probably the most popular algorithms in machine learning. We introduce and study a new regularization which provides a unification of the additive and multiplicative updates. This regularization is derived from an hyperbolic analogue of the entropy function, which we call hypentropy. It is motivated by a natural extension of the multiplicative update to negative numbers. The hypentropy has a natural spectral counterpart which we use to derive a family of matrix-based updates that bridge gradient methods and the multiplicative method for matrices. While the latter is only applicable to positive semi-definite matrices, the spectral hypentropy method can naturally be used with general rectangular matrices. We analyze the new family of updates by deriving tight regret bounds. We study empirically the applicability of the new update for settings such as multiclass learning, in which the parameters constitute a general rectangular matrix.

研究动机与目标

• 通过新的正则化框架，统一加法梯度下降与乘法指数梯度方法。
• 将乘法更新方法直接扩展至处理负权重，避免使用 EG± 技巧。
• 为一般长方形矩阵开发谱超熵正则化，克服现有矩阵乘法更新方法的局限性。
• 在在线凸优化中实现更紧致的损失边界，达到矩阵设置下已知的最佳边界。
• 在多类学习与神经网络训练中，展示相对于标准梯度下降与 p-范数方法的实证优势。

提出的方法

• 提出超熵作为熵的双曲类比，源自温度参数 β，实现加法与乘法更新之间的插值。
• 将谱超熵定义为奇异值矩阵函数的迹范数，确保相对于迹范数或 Frobenius 范数的强凸性。
• 推导基于超熵与谱超熵的镜像下降更新，其推广了梯度下降与矩阵乘法更新。
• 利用逆镜像映射计算更新，形式为 f(σ)i = σi^(p−1)/||σ||_p^(p−2)，其中 p = 2β，与 p-范数正则化相关联。
• 将无约束 HU（超熵更新）算法应用于神经网络训练，使用有效学习率 η_eff = βη。
• 在 CIFAR10 上的多类与图像分类任务中，将 HU 与 SHU（谱超熵更新）与 GD、p-范数及 SGD 进行对比。

实验结果

研究问题

• RQ1 是否存在一个统一的正则化框架，可将在线学习中的加法与乘法更新统一？
• RQ2 与现有方法相比，超熵正则化在损失边界方面的表现如何？
• RQ3 谱超熵能否应用于一般长方形矩阵？其损失边界是否优于现有矩阵乘法更新方法？
• RQ4 HU 与 SHU 在多类学习与神经网络训练中的实证性能如何？
• RQ5 与梯度下降及 p-范数方法相比，超熵方法是否产生更稀疏或更低秩的解？

主要发现

• 尽管有效学习率较小，HU 算法在多类学习中仍实现了低于梯度下降的分类误差与损失。
• SHU 更新实现了 O(√(T log min{m,n})) 的损失边界，与 Kakade 等人（2012）的最优边界一致，且优于标准矩阵乘法更新。
• 在多类学习中，SHU 产生的解的迹范数（700）小于 GD（略高于 600），也小于 p-范数（更强烈地压缩小奇异值）。
• p-范数算法比 SHU 更激进地压缩小奇异值，从而产生更好的低秩解，而 SHU 更好地利用了大信号方向。
• 在 CIFAR10 上的神经网络训练中，HU 使用有效学习率 βη = 0.005 时性能与 SGD 相当，且更小的 β 值可产生更稀疏的权重。
• HU 更新对大奇异值呈指数行为，对小奇异值呈线性行为，从而实现对有效信号的高效利用，同时抑制噪声。