[论文解读] A Convergence Analysis of Nonlinearly Constrained ADMM in Deep Learning.

Jinshan Zeng, Shao-Bo Lin+1 more|arXiv (Cornell University)|Feb 6, 2019

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

该论文建立了具有平滑激活函数的深度神经网络中，非线性约束ADMM的全局收敛性，实现了到Karush-Kuhn-Tucker（KKT）点的${\cal O}(1/k)$收敛速率。其关键创新在于提出了一种新颖的局部线性逼近技术，克服了ADMM框架下非线性约束带来的挑战。

ABSTRACT

Efficient training of deep neural networks (DNNs) is a challenge due to the associated highly nonconvex optimization. The alternating direction method of multipliers (ADMM) has attracted rising attention in deep learning for its potential of distributed computing. However, it remains an open problem to establish the convergence of ADMM in DNN training due to the nonlinear constraints involved. In this paper, we provide an answer to this problem by establishing the convergence of some nonlinearly constrained ADMM for DNNs with smooth activations. To be specific, we establish the global convergence to a Karush-Kuhn-Tucker (KKT) point at a ${\cal O}(1/k)$ rate. To achieve this goal, the key development lies in a new local linear approximation technique which enables us to overcome the hurdle of nonlinear constraints in ADMM for DNNs.

研究动机与目标

• 为解决深度学习中ADMM在非线性约束下的收敛性这一开放问题。
• 建立具有平滑激活函数的深度神经网络训练中ADMM的全局收敛性保证。
• 构建一个理论框架，使得尽管深度神经网络优化问题具有非凸性和非线性约束，仍能进行收敛性分析。
• 通过引入一种新的局部线性逼近方法，克服ADMM在深度学习中处理非线性约束的技术障碍。

提出的方法

• 提出一种新型局部线性逼近技术，用于处理深度学习中ADMM的非线性约束。
• 将交替方向乘子法（ADMM）应用于具有平滑激活函数且存在非线性约束的DNN。
• 以KKT最优性条件作为ADMM迭代序列的收敛目标。
• 通过分析所提出的逼近方案下迭代序列的性质，建立收敛性。
• 推导出迭代序列收敛至KKT点的收敛速率为${\cal O}(1/k)$。
• 分析算法在平滑激活函数下的行为，以确保理论可处理性。

实验结果

研究问题

• RQ1 能否在深度神经网络训练中为非线性约束ADMM建立全局收敛性？
• RQ2 在具有平滑激活函数和非线性约束的DNN中，ADMM的收敛速率能达到多少？
• RQ3 如何在ADMM框架下克服深度学习中非线性约束带来的挑战？
• RQ4 是否存在理论依据支持在非凸、非线性约束的深度学习问题中使用ADMM？
• RQ5 局部线性逼近技术是否能够在此类背景下实现收敛性分析？

主要发现

• 所提出的非线性约束ADMM能全局收敛至Karush-Kuhn-Tucker（KKT）点。
• 收敛速率被确定为${\cal O}(1/k)$，这对非凸ADMM而言是一个重要的理论保证。
• 新型局部线性逼近技术成功处理了此前阻碍收敛性分析的非线性约束。
• 该方法适用于具有平滑激活函数的深度神经网络。
• 理论结果为在分布式和约束型深度学习场景中使用ADMM奠定了基础。
• 分析结果证实了ADMM在非线性约束下实现可扩展和分布式DNN训练的潜力。