[论文解读] Bregman Proximal Framework for Deep Linear Neural Networks

Mahesh Chandra Mukkamala, Felix Westerkamp+3 more|arXiv (Cornell University)|Oct 8, 2019

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

该论文提出了一种专为带平方损失的深度线性神经网络训练而设计的新颖Bregman距离，使Bregman近端梯度（BPG）和CoCaIn BPG算法能够在无需线搜索或递减步长的情况下实现全局收敛。该方法提供闭式更新公式和一种高效的惯性参数，相较于欧几里得变体在多种设置下表现更优，尤其在正则化情形下优势显著。

ABSTRACT

A typical assumption for the analysis of first order optimization methods is the Lipschitz continuity of the gradient of the objective function. However, for many practical applications this assumption is violated, including loss functions in deep learning. To overcome this issue, certain extensions based on generalized proximity measures known as Bregman distances were introduced. This initiated the development of the Bregman proximal gradient (BPG) algorithm and an inertial variant (momentum based) CoCaIn BPG, which however rely on problem dependent Bregman distances. In this paper, we develop Bregman distances for using BPG methods to train Deep Linear Neural Networks. The main implications of our results are strong convergence guarantees for these algorithms. We also propose several strategies for their efficient implementation, for example, closed form updates and a closed form expression for the inertial parameter of CoCaIn BPG. Moreover, the BPG method requires neither diminishing step sizes nor line search, unlike its corresponding Euclidean version. We numerically illustrate the competitiveness of the proposed methods compared to existing state of the art schemes.

研究动机与目标

• 为解决深度学习目标中梯度不满足Lipschitz连续性的问题，该问题使得标准近端梯度方法失效。
• 为带平方损失的深度线性神经网络设计适用于特定问题的Bregman距离。
• 在非光滑、非凸的深度学习设置下，为Bregman近端算法提供全局收敛保证。
• 通过闭式更新和一种新颖的惯性参数策略，实现高效实现。
• 展示基于BPG的方法在训练深度线性网络方面与最先进方法具有竞争力。

提出的方法

• 提出一类专为带平方损失的深度线性神经网络设计的新颖Bregman距离，确保目标函数为L-smad（Lipschitz-平滑可适配）。
• 将Bregman近端梯度（BPG）及其惯性变体CoCaIn BPG应用于深度线性网络问题，利用新定义的Bregman距离。
• 推导出Bregman近端更新的闭式解析表达式，实现无需线搜索的高效实现。
• 为CoCaIn BPG中的惯性参数提出闭式表达式，提升大规模问题下的效率。
• 在BPG中采用固定步长规则，避免回溯线搜索带来的计算开销。
• 将框架扩展至处理L1和L2正则化，证明其在不同设置下的鲁棒性。

实验结果

研究问题

• RQ1 能否为深度线性神经网络构造一种特定问题的Bregman距离，以实现BPG方法的全局收敛？
• RQ2 基于BPG的算法在深度线性网络训练中是否能优于欧几里得近端方法？
• RQ3 能否在此设置下为CoCaIn BPG推导出闭式更新和解析惯性参数？
• RQ4 BPG方法是否能在不使用递减步长或线搜索的情况下维持强收敛保证？
• RQ5 在不同正则化设置下，BPG方法与最先进方法（如iPiano-WB和PALM）的性能相比如何？

主要发现

• 在所提出的Bregman距离下，CoCaIn BPG CFI在L1正则化情形下表现出与iPiano-WB和FBS方法相当或更优的收敛速度。
• 在L2正则化设置下，BPG、BPG-WB和CoCaIn BPG CFI比FBS方法或交替算法更频繁地收敛到较差的解。
• 在无正则化问题中，PALM和iPALM优于基于BPG的方法，主要归因于无需线搜索；但BPG方法仍保持竞争力。
• 所提出的CoCaIn BPG CFI中闭式惯性参数显著提升了稳定性和性能，尤其在L1正则化设置下。
• CoCaIn BPG CFI在L1正则化实验中表现出更优的稳定性和收敛性，优于标准CoCaIn BPG。
• 采用固定步长的BPG方法可实现强全局收敛至驻点，无需线搜索或递减步长。