[论文解读] A Proximal Block Coordinate Descent Algorithm for Deep Neural Network Training

Tim Tsz-Kit Lau, Jinshan Zeng+2 more|arXiv (Cornell University)|Mar 24, 2018

Sparse and Compressive Sensing Techniques被引用 14

一句话总结

该论文提出了一种新型的近端块坐标下降（PBCD）算法，通过使用二次惩罚方法重构深度神经网络（DNN）优化问题，并将激活函数投影到凸集上，实现了在Kurdyka-Łojasiewicz（KL）性质下的全局收敛。该方法在MNIST等标准数据集上相较于使用SGD的反向传播算法，以更少的训练轮次实现了具有竞争力的训练效率。

ABSTRACT

Training deep neural networks (DNNs) efficiently is a challenge due to the associated highly nonconvex optimization. The backpropagation (backprop) algorithm has long been the most widely used algorithm for gradient computation of parameters of DNNs and is used along with gradient descent-type algorithms for this optimization task. Recent work have shown the efficiency of block coordinate descent (BCD) type methods empirically for training DNNs. In view of this, we propose a novel algorithm based on the BCD method for training DNNs and provide its global convergence results built upon the powerful framework of the Kurdyka-Lojasiewicz (KL) property. Numerical experiments on standard datasets demonstrate its competitive efficiency against standard optimizers with backprop.

研究动机与目标

• 为解决深度神经网络（DNN）训练中非凸优化的挑战，特别是反向传播中固有的梯度消失问题。
• 开发一种基于块坐标下降（BCD）的无梯度优化方法，避免梯度消失并实现高效训练。
• 基于Kurdyka-Łojasiewicz（KL）性质框架，为所提算法建立全局收敛性保证。
• 在基准数据集上展示其与标准反向传播结合SGD相比具有竞争力的训练效率。

提出的方法

• 使用二次惩罚方法重构DNN训练问题，将嵌套结构转化为独立且松散耦合的子问题。
• 将激活函数建模为非空闭凸集上的投影，使损失函数呈现块多凸形式。
• 应用高斯-赛德尔型近端块坐标下降方案，按顺序更新变量块（激活值、权重、偏置和辅助变量）。
• 对所有变量块（包括权重、偏置、激活值和辅助变量）采用近端步骤，确保稳定性和收敛性。
• 利用Kurdyka-Łojasiewicz（KL）性质建立全局收敛性与收敛速率分析。
• 基于KL指数推导收敛速率：根据函数的几何特性，收敛速率可能为有限、线性或次线性。

实验结果

研究问题

• RQ1 在KL性质框架下，近端块坐标下降方法能否实现深度神经网络训练的全局收敛？
• RQ2 所提出的PBCD算法在每轮训练效率上是否优于标准的反向传播结合SGD？
• RQ3 对所有变量块（包括激活值和偏置）采用近端步骤，如何影响收敛性与性能？
• RQ4 在损失函数的不同几何条件下，PBCD算法的收敛速率行为如何？
• RQ5 所提方法能否有效避免反向传播中固有的梯度消失问题？

主要发现

• 所提出的PBCD算法在Kurdyka-Łojasiewicz（KL）性质下实现了深度神经网络的全局收敛，确保收敛至临界点。
• 该算法表现出具有竞争力的训练效率，在MNIST数据集上达到相当的测试准确率时，所需轮次显著少于使用SGD的反向传播。
• 在784-2048-2048-2048-10的MLP网络上，BCD在30轮内达到94.58%的最终测试准确率，与SGD在100轮内达到的95.33%准确率相当。
• 在带有跳跃连接的784-2048-784-2048-10残差网络（ResNet）上，BCD在20轮内达到95.37%的测试准确率，与SGD在100轮内达到的95.33%准确率相当。
• PBCD算法的收敛速率取决于KL指数：有限（θ=0）、线性（θ∈(0,1/2]）或次线性（θ∈(1/2,1)），并推导出明确的上界。
• 该方法对所有变量块（包括激活值和偏置）采用近端步骤，实现了稳定且高效的更新，且无需依赖梯度计算。