[论文解读] Global Convergence of Block Coordinate Descent in Deep Learning

Jinshan Zeng, Tim Tsz Kit Lau+2 more|arXiv (Cornell University)|Mar 1, 2018

Stochastic Gradient Optimization Techniques被引用 34

一句话总结

本文建立了深度学习中常用模型（包括ReLU、Sigmoid和残差网络）的块坐标下降（BCD）方法的全局收敛性。通过扩展Kurdyka-Łojasiewicz不等式框架，证明在Lipschitz连续梯度假设下，收敛速率可达O(1/k)，且无需假设块多凸性或可微性。

ABSTRACT

Deep learning has aroused extensive attention due to its great empirical success. The efficiency of the block coordinate descent (BCD) methods has been recently demonstrated in deep neural network (DNN) training. However, theoretical studies on their convergence properties are limited due to the highly nonconvex nature of DNN training. In this paper, we aim at providing a general methodology for provable convergence guarantees for this type of methods. In particular, for most of the commonly used DNN training models involving both two- and three-splitting schemes, we establish the global convergence to a critical point at a rate of ${\cal O}(1/k)$, where $k$ is the number of iterations. The results extend to general loss functions which have Lipschitz continuous gradients and deep residual networks (ResNets). Our key development adds several new elements to the Kurdyka-Łojasiewicz inequality framework that enables us to carry out the global convergence analysis of BCD in the general scenario of deep learning.

研究动机与目标

• 解决块坐标下降（BCD）在深度神经网络（DNN）训练中缺乏理论收敛保证的问题，尤其是在非凸、不可微设置下。
• 克服先前方法依赖块多凸性或可微性假设的局限性，这些假设在Sigmoid等常见激活函数下不成立。
• 为DNN训练目标的二分裂和三分裂形式提供一个通用的收敛框架。
• 在广泛的损失函数和网络架构（包括残差网络ResNets）下，建立BCD使用近似邻近和近似线性策略的全局收敛性。

提出的方法

• 将Kurdyka-Łojasiewicz（KŁ）不等式框架扩展至适应深度学习目标的非凸、非光滑结构。
• 提出一种新颖的分析技术，依赖于激活函数在有界集上的Lipschitz连续性，而非块多凸性。
• 应用近似邻近BCD策略以处理非光滑正则化目标，特别适用于基于ReLU的网络。
• 将收敛性分析推广至任意损失函数且梯度Lipschitz连续的近似线性方案。
• 将框架适配至深度残差网络（ResNets），在相同假设下证明收敛性。
• 利用常见损失函数（如平方损失、合页损失）的闭式近似邻近算子，以实现实际应用与理论分析。

实验结果

研究问题

• RQ1 能否在不假设块多凸性或可微性的前提下，为深度神经网络建立BCD的全局收敛性？
• RQ2 激活函数和损失函数需满足何种条件，才能确保BCD在DNN训练中的全局收敛性？
• RQ3 O(1/k)的收敛速率是否适用于DNN目标的二分裂和三分裂形式？
• RQ4 所提出的框架能否扩展至处理残差网络（ResNets）和一般损失函数？
• RQ5 激活函数在有界集上的Lipschitz连续性如何在非光滑、非凸设置下支持收敛性分析？

主要发现

• 本文为大多数常用DNN训练模型（包括ReLU和Sigmoid激活函数）建立了BCD向临界点的全局收敛性，收敛速率为O(1/k)。
• 收敛性在损失函数具有Lipschitz连续梯度、且激活函数在有界集上Lipschitz连续的假设下得到证明。
• 该框架适用于DNN目标的二分裂和三分裂形式，覆盖广泛的训练设置。
• 分析已扩展至深度残差网络（ResNets），证明在相同假设下BCD可实现全局收敛。
• 近似邻近和近似线性策略均被证明具有全局收敛性，其中近似邻近方法在正则化问题中尤为有效。
• 实验结果证实，BCD在训练深层MLP（如MNIST上的十层网络）时优于原始SGD，而SGD因梯度消失而失效。