[論文レビュー] LEASGD: an Efficient and Privacy-Preserving Decentralized Algorithm for Distributed Learning

Hsin-Pai Cheng, Patrick Yu+5 more|arXiv (Cornell University)|Nov 27, 2018

Privacy-Preserving Technologies in Data参考文献 2被引用数 16

ひとこと要約

LEASGD は、リーダーフォロワー通信トポロジーと弾性平均化、微分プライバシーを組み合わせた、高速な収束と低い通信コストを実現する新しい分散型ディープラーニングアルゴリズムである。DPSGD よりも低いプライバシー予算で学習損失を 30% 減少させつつ、プライベートな設定下でも高い精度を維持する。

ABSTRACT

Distributed learning systems have enabled training large-scale models over large amount of data in significantly shorter time. In this paper, we focus on decentralized distributed deep learning systems and aim to achieve differential privacy with good convergence rate and low communication cost. To achieve this goal, we propose a new learning algorithm LEASGD (Leader-Follower Elastic Averaging Stochastic Gradient Descent), which is driven by a novel Leader-Follower topology and a differential privacy model.We provide a theoretical analysis of the convergence rate and the trade-off between the performance and privacy in the private setting.The experimental results show that LEASGD outperforms state-of-the-art decentralized learning algorithm DPSGD by achieving steadily lower loss within the same iterations and by reducing the communication cost by 30%. In addition, LEASGD spends less differential privacy budget and has higher final accuracy result than DPSGD under private setting.

研究の動機と目的

• 微分プライバシーを確保しつつ収束速度や通信効率を損なわない分散型学習システムの設計。
• 動的リーダーフォロワー対に限定したパラメータ交換により、分散学習における通信コストの低減。
• 弾性平均化とモーメンタムベースのプライバシー会計を用いて、収束速度とプライバシー・精度のトレードオフの改善。
• 非プライベートおよびプライベートな学習設定下でのスケーラビリティとロバストネスの評価。

提案手法

• LEASGD は、リーダー（低損失ワーカー）がフォロワー（高損失ワーカー）を弾性平均化によって導く動的リーダーフォロワートポロジーを採用し、収束を改善する。
• パラメータ間の力が作用する弾性更新ルールを用いることで、学習の安定化と収束の加速を実現する。
• モーメンタムベースのプライバシー会計を用いて微分プライバシーを統合し、従来の合成定理に比べてプライバシー予算の境界を厳密に制限する。
• 通信はリーダーフォロワー対に限定され、D-PSGD と比較して送信ベクトル数が 30% 減少する。
• 理論的分析により、強い凸性のもとで収束が保証され、収束速度は O(h^t)（h < 1）であり、ワーカー数 p が増加するにつれて h が減少する。
• プライバシーのトレードオフは、勾配ノイズ分散を総ノイズ分散（σ₁² + C²σ₂²）に置き換えることで定量的に評価され、ワーカー数の増加に対しても安定したスケーラビリティを示す。

実験結果

リサーチクエスチョン

• RQ1 分散型学習システムは、微分プライバシーを維持しつつ、高速な収束と低い通信コストを達成できるか？
• RQ2 リーダーフォロワートポロジーは、従来の分散通信と比較して収束性および通信効率においてどのように異なるか？
• RQ3 モーメンタムベースのプライバシー会計は、分散学習における総プライバシー予算（ε）にどのような影響を与えるか？
• RQ4 LEASGD は、ワーカー数の増加に伴い、プライバシー予算および最終モデル精度の観点でどのようにスケーリングするか？
• RQ5 DP ノイズの追加により、特に局所最適解からの脱出を考慮した分散学習における一般化性能が向上するか？

主な発見

• LEASGD は D-PSGD と比較して、送信ベクトル数で 30% の通信コスト削減を達成する。
• 非プライベートな設定下では、同じイテレーション数内で D-PSGD よりも速く収束し、より低い学習損失に到達する。
• 微分プライバシー設定下では、LEASGD はより高い最終精度（例：MNIST で m=15 のとき 97% 対 D-PSGD の 95%）を達成し、総プライバシー予算（ε = 4.651 対 4.843）を低く抑える。
• ワーカー数の増加に伴っても、LEASGD の最終精度は安定しており、プライベートな設定下での強いスケーラビリティを示す。
• モーメンタムベースの会計により、システム規模の増加に伴うプライバシー予算の増加が緩やかになり、古典的合成定理に比べてより厳しい境界を提供する。
• LEASGD の収束速度は O(h^t) であり、指数関数的に減少し、長期的には D-PSGD の O(1/[(p+1)t]) の速度よりも速い。