[论文解读] Alternating Direction Method of Multipliers for Quantization

Tianjian Huang, Prajwal Singhania+3 more|arXiv (Cornell University)|Sep 8, 2020

Sparse and Compressive Sensing Techniques参考文献 53被引用 4

一句话总结

本文提出 ADMM-Q，一种将交替方向乘子法（Alternating Direction Method of Multipliers）应用于量化机器学习模型的新型方法，特别针对二值化神经网络等非凸离散优化问题。该方法证明了 ADMM-Q 迭代序列收敛至驻点，并建立了拉格朗日函数的单调收敛性，首次为具有离散约束的 ADMM 提供了理论分析。通过引入软投影和随机化更新，该方法进一步提升了经验性能。

ABSTRACT

Quantization of the parameters of machine learning models, such as deep neural networks, requires solving constrained optimization problems, where the constraint set is formed by the Cartesian product of many simple discrete sets. For such optimization problems, we study the performance of the Alternating Direction Method of Multipliers for Quantization ($ exttt{ADMM-Q}$) algorithm, which is a variant of the widely-used ADMM method applied to our discrete optimization problem. We establish the convergence of the iterates of $ exttt{ADMM-Q}$ to certain $ extit{stationary points}$. To the best of our knowledge, this is the first analysis of an ADMM-type method for problems with discrete variables/constraints. Based on our theoretical insights, we develop a few variants of $ exttt{ADMM-Q}$ that can handle inexact update rules, and have improved performance via the use of "soft projection" and "injecting randomness to the algorithm". We empirically evaluate the efficacy of our proposed approaches.

研究动机与目标

• 为解决 ADMM 在机器学习中应用于非凸离散优化问题时缺乏理论理解的问题。
• 分析 ADMM-Q（一种专为量化约束设计的 ADMM 变体）的收敛行为。
• 探究 ADMM-Q 在离散设置下是否能单调改善目标函数并收敛至有意义的驻点。
• 开发并评估 ADMM-Q 的实用变体，包括不精确、随机化或软投影更新，以提升鲁棒性与性能。
• 将核心算法与启发式增强（如直通估计器）分离，以更好地理解 ADMM-Q 的内在行为。

提出的方法

• ADMM-Q 应用于模型参数被约束于离散集合（如二值化中的 ±1）的量化问题，通过在原始变量与对偶变量之间交替最小化实现。
• 通过增广拉格朗日函数最小化强制执行量化约束，利用对偶上升更新减少约束违反。
• 引入软投影机制，使更新过程中的过渡更平滑，从而提升收敛性与稳定性。
• 引入随机化更新以打破对称性并逃离不良局部极小值，增强鲁棒性。
• 将方法扩展至处理不精确或随机更新，以模拟现实训练场景中的噪声或近似。
• 理论分析证明拉格朗日函数单调收敛，且所有迭代序列的极限点均满足平稳性条件。

实验结果

研究问题

• RQ1 ADMM-Q 是否能在离散、非凸优化问题中保证迭代过程中目标函数的单调改善？
• RQ2 在离散约束背景下，ADMM-Q 迭代序列的极限点具有何种性质？
• RQ3 ADMM-Q 是否能在不损失收敛性或性能的前提下容忍不精确、随机化或随机更新？
• RQ4 与投影梯度下降等简单方法相比，ADMM-Q 在求解离散量化问题时表现如何？
• RQ5 能否为 ADMM 应用于离散、非凸问题建立理论保证——此前文献中尚未探索此问题？

主要发现

• ADMM-Q 在拉格朗日函数值上表现出单调收敛，为其经验成功提供了理论基础。
• ADMM-Q 迭代序列的所有极限点均满足平稳性条件，表明收敛至有意义的解。
• 所提出的变体——ADMM-R（随机化）与 ADMM-S（软投影）——在经验性能上优于标准 ADMM-Q。
• ADMM-Q 在量化二次优化与神经网络训练中均优于投影梯度下降与标准 ADMM 等竞争算法。
• 该方法在不依赖直通估计器或架构修改等启发式技术的情况下实现优异性能，证明了核心算法的有效性。
• 在 MNIST 与 CIFAR-10 上的实验结果表明，结合预训练与软投影的 ADMM-Q 能在保持低精度权重的同时实现高测试准确率。