[論文レビュー] Gradient Descent with Compressed Iterates

Ahmed Khaled, Peter Richtárik|arXiv (Cornell University)|Sep 10, 2019

Privacy-Preserving Technologies in Data参考文献 37被引用数 12

ひとこと要約

本稿では、勾配更新の前にランダムかつ不偏な圧縮演算子を用いて各ステップでモデル反復値を圧縮する、新しい確率的1次順序法である勾配降下法による圧縮反復値（GDCI）を導入する。著者らは、滑らかで強く凸な関数においてGDCIの線形収束を確立し、フェデレーテッドラーニングにおける反復的モデル圧縮の理論的分析を初めて提供し、実践と理論の間の重要なギャップを埋める。

ABSTRACT

We propose and analyze a new type of stochastic first order method: gradient descent with compressed iterates (GDCI). GDCI in each iteration first compresses the current iterate using a lossy randomized compression technique, and subsequently takes a gradient step. This method is a distillation of a key ingredient in the current practice of federated learning, where a model needs to be compressed by a mobile device before it is sent back to a server for aggregation. Our analysis provides a step towards closing the gap between the theory and practice of federated learning, and opens the possibility for many extensions.

研究の動機と目的

• 反復的モデル圧縮の理論的ギャップを解消すること、これは実用的なフェデレーテッドラーニングにおける重要な技術である。
• 勾配ではなく反復値が各ステップで圧縮される場合の勾配降下法の収束挙動を分析すること。
• 滑らかさと強く凸性の標準的仮定の下で、各反復でモデルパラメータ（反復値）を圧縮する手法の収束分析を初めて提供すること。
• 現代のフェデレーテッドラーニングシステムのコアな要素である、デバイスが送信前にモデルを圧縮するというプロセスの理論的基盤を確立すること。

提案手法

• GDCIを提案：$ x_{k+1} = \mathcal{C}(x_k) - \gamma \nabla f(\mathcal{C}(x_k)) $、ここで $ \mathcal{C} $ はランダムかつ不偏な圧縮演算子である。
• 仮定2を満たす圧縮演算子（スパarsification、量子化、ジタリング技術を含む）を用いる。
• 期待値の2乗誤差 $ \mathbb{E}[\|x_k - x_*\|^2] $ への収束を再帰的に分析する。
• ステップサイズ $ \gamma $、強凸性パラメータ $ \mu $、リプシッツ勾配パラメータ $ L $、および圧縮パラメータ $ \alpha $、$ \beta $ を含む再帰的バウンドを導出。これにより線形収束が得られる。
• 収束を保証するためのステップサイズ $ \gamma $ と圧縮品質 $ \alpha $ の条件を確立し、明示的な収束レートバウンドを導出する。
• 勾配のリプシッツ連続性と不偏圧縮の性質を活用し、反復間での誤差伝搬を制御する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強く凸な関数に対して、圧縮反復値を用いた勾配降下法は線形収束するか？
• RQ2 収束を保証するための圧縮演算子とステップサイズの条件は何か？
• RQ3 圧縮によって生じる分散は収束にどのように影響し、その影響はどのようにバウンドできるか？
• RQ4 反復値圧縮の理論的分析は、実用的なフェデレーテッドラーニングと既存の理論とのギャップを埋めることができるか？

主な発見

• GDCIは線形収束レート $ \mathbb{E}[\|x_k - x_*\|^2] \leq (1 - \gamma\mu)^k \|x_0 - x_*\|^2 + \frac{D}{\gamma\mu} $ を達成する。ここで $ D = 2\gamma^2 B + \gamma(L - \mu)\beta $ である。
• 収束は $ 2\gamma A + \alpha(L - \mu) \leq 1 $ の条件下で保証され、$ A = L + (L^2 + \gamma^{-2})\alpha $ により、誤差の安定性と減少が保証される。
• 収束レートはパラメータ $ \alpha $ と $ \beta $ を通じて圧縮品質に依存し、より優れた圧縮演算子ではより緊密なバウンドが得られる。
• 本手法は、単一デバイスの場合でさえ、フェデレーテッドラーニングの文脈における反復的モデル圧縮の理論的分析を初めて提供する。
• 圧縮品質の有効なバウンド $ \omega = \frac{\alpha\mu}{2} $ が導出され、圧縮の強度と強く凸性の相互作用が明らかになる。