[論文レビュー] Distributed Optimization for Client-Server Architecture with Negative Gradient Weights

Shripad Gade, Nitin H. Vaidya|arXiv (Cornell University)|Aug 12, 2016

Privacy-Preserving Technologies in Data参考文献 24被引用数 3

ひとこと要約

本稿では、複数のパラメータサーバーを備えたクライアント・サーバーアーキテクチャを対象として、プライバシーを強化しつつ収束を保証する、同期分散最適化アルゴリズムを提案する。ランダム化された負の勾配重みを用いることで、クライアントが送信する勾配の真正の方向をパラメータサーバーが推定できないようにし、反復的分散平均と射影勾配降下法を併用する。時間変動する任意のトポロジーにおいて収束を保証し、時間変動する重みにより最適解まわりの振動が低減され、収束が速くなることが示された。

ABSTRACT

Availability of both massive datasets and computing resources have made machine learning and predictive analytics extremely pervasive. In this work we present a synchronous algorithm and architecture for distributed optimization motivated by privacy requirements posed by applications in machine learning. We present an algorithm for the recently proposed multi-parameter-server architecture. We consider a group of parameter servers that learn a model based on randomized gradients received from clients. Clients are computational entities with private datasets (inducing a private objective function), that evaluate and upload randomized gradients to the parameter servers. The parameter servers perform model updates based on received gradients and share the model parameters with other servers. We prove that the proposed algorithm can optimize the overall objective function for a very general architecture involving $C$ clients connected to $S$ parameter servers in an arbitrary time varying topology and the parameter servers forming a connected network.

研究の動機と目的

• クライアントが機微なデータを保有する分散機械学習において、クライアントが勾配のみを共有するというプライバシー懸念に対処すること。
• 任意の時間変動する通信トポロジーを想定した、複数のパラメータサーバーを備えたアーキテクチャにおける、証明可能に収束する最適化アルゴリズムの開発。
• クライアントのアップロード時にランダムで、かつ負の勾配重みを導入することで、パラメータサーバーが個々のクライアントのデータを推定できないようにすることでプライバシーを強化すること。
• 負の重みと動的変化するサーバー間通信パターンを用いても、アルゴリズムが正しく動作し収束することを実証すること。
• サーバー間通信トポロジーが収束速度および安定性に与える影響を分析すること。

提案手法

• アルゴリズムは、反復的分散平均と射影勾配降下法を組み合わせた手法であり、パラメータサーバーは双対確率的重み行列を用いて分散平均更新を実行する。
• クライアントはランダム化された勾配を計算し、負の重みを含む重み付きでアップロードすることで、パラメータサーバーが真の勾配方向を特定できないようにする。
• 時間変動する学習率Δを用い、標準的な条件（和と二乗和の制約）を満たすことで収束を保証する。
• 分散平均に用いる重み行列は双対確率的であり、厳密極限条件（SLC）および有界上界条件（BUC）を満たす。
• システムはC台のクライアントとS台のパラメータサーバーから構成され、クライアント間およびサーバー間の通信トポロジーは任意の時間変動するものとする。
• 勾配の和がゼロに収束し、意思決定集合𝒳が凸かつコンパクトであるという仮定の下で収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 負の勾配重みを用いた分散最適化アルゴリズムは、複数のパラメータサーバーを備えたアーキテクチャにおいて、最適解に収束するか？
• RQ2 サーバー間通信トポロジーの選択が収束速度および安定性に与える影響は何か？
• RQ3 時間変動するランダムな勾配重みの使用は、収束性を損なわずプライバシーを向上させるか？
• RQ4 学習率が固定でトポロジーが時間変動する場合でも、アルゴリズムは正しく動作し収束を保証できるか？
• RQ5 負の重みが反復の軌道および平均からの逸脱に与える影響は何か？

主な発見

• パラメータサーバー間ネットワークが連結である限り、クライアントおよびパラメータサーバーの任意の時間変動トポロジーにおいて、アルゴリズムは最適解に収束する。
• 時間変動する勾配重みの使用により収束が速くなる。負の重みのおかげで、最適解からの長期間の逸脱が抑制されるためである。
• パラメータサーバー間で完全グラフ（完全接続）トポロジーを採用した場合、情報の混合が最適であるため、最も速い収束が達成される。
• スターツォポロジーは、一般的な設計選択にもかかわらず、収束速度およびRMS誤差低減の観点で最も悪い性能を示す。
• サイクルグラフトポロジーは、接続性が高く情報混合が速いため、線形（パス）トポロジーを上回る性能を示す。
• 勾配重みを各反復でランダムに変更してもアルゴリズムが収束を保つことから、動的重み割り当てに対して高いロバスト性を示す。