[论文解读] Gradient Descent with Compressed Iterates

Ahmed Khaled, Peter Richtárik|arXiv (Cornell University)|Sep 10, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用 12

一句话总结

本文提出梯度下降压缩迭代（GDCI），一种新颖的随机一阶方法，该方法在每一步中使用随机且无偏的压缩算子对模型迭代进行压缩，然后再执行梯度更新。作者在光滑且强凸函数上建立了GDCI的线性收敛性，首次对联邦学习中的迭代模型压缩进行了理论分析，填补了实践与理论之间的一项关键空白。

ABSTRACT

We propose and analyze a new type of stochastic first order method: gradient descent with compressed iterates (GDCI). GDCI in each iteration first compresses the current iterate using a lossy randomized compression technique, and subsequently takes a gradient step. This method is a distillation of a key ingredient in the current practice of federated learning, where a model needs to be compressed by a mobile device before it is sent back to a server for aggregation. Our analysis provides a step towards closing the gap between the theory and practice of federated learning, and opens the possibility for many extensions.

研究动机与目标

• 为理解迭代模型压缩这一联邦学习实用技术中的理论空白提供支持。
• 分析在每一步中压缩模型迭代（而非仅压缩梯度）时梯度下降的收敛行为。
• 在标准光滑性和强凸性假设下，首次对每轮迭代中压缩模型参数（即迭代）的方法提供收敛性分析。
• 为现代联邦学习系统中的核心组件——设备在传输前对模型进行压缩——建立理论基础。

提出的方法

• 提出GDCI：$ x_{k+1} = \mathcal{C}(x_k) - \gamma \nabla f(\mathcal{C}(x_k)) $，其中$ \mathcal{C} $为随机且无偏的压缩算子。
• 使用满足假设2的压缩算子，包括稀疏化、量化和抖动技术。
• 通过期望平方距离至最优解的递推关系$ \mathbb{E}[\|x_k - x_*\|^2] $分析收敛性。
• 推导出涉及$ \gamma $、$ \mu $、$ L $和压缩参数$ \alpha $、$ \beta $的递推界，从而实现线性收敛。
• 建立步长$ \gamma $和压缩质量$ \alpha $的条件以确保收敛，并给出明确的收敛率界。
• 利用梯度Lipschitz连续性和无偏压缩的性质，控制误差在迭代间的传播。

实验结果

研究问题

• RQ1 对于光滑且强凸函数，压缩迭代的梯度下降是否具有线性收敛性？
• RQ2 压缩算子和步长需要满足何种条件才能保证收敛？
• RQ3 压缩引起的方差如何影响收敛性？是否可以对其进行有界控制？
• RQ4 对迭代压缩的理论分析能否弥合实际联邦学习与现有理论之间的差距？

主要发现

• GDCI实现线性收敛率$ \mathbb{E}[\|x_k - x_*\|^2] \leq (1 - \gamma\mu)^k \|x_0 - x_*\|^2 + \frac{D}{\gamma\mu} $，其中$ D = 2\gamma^2 B + \gamma(L - \mu)\beta $。
• 当$ 2\gamma A + \alpha(L - \mu) \leq 1 $时保证收敛，其中$ A = L + (L^2 + \gamma^{-2})\alpha $，确保误差的稳定性和衰减。
• 收敛率取决于压缩质量参数$ \alpha $和$ \beta $，更好的压缩算子可获得更紧的界。
• 该方法首次在联邦学习背景下对迭代模型压缩提供了理论分析，即使在单设备情况下亦成立。
• 推导出有效压缩质量$ \omega = \frac{\alpha\mu}{2} $的界，揭示了压缩强度与强凸性之间的相互作用。