[論文レビュー] VAFL: a Method of Vertical Asynchronous Federated Learning

Tianyi Chen, Xiao Jin+2 more|arXiv (Cornell University)|Jul 12, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用数 88

ひとこと要約

VAFLは、ローカル埋め込みを用いた非同期の垂直フェデレーテッドラーニングフレームワークを提案し、協調なしでクライアント側の更新を可能にし、ノイズを加えたローカル埋め込みによってプライバシーを保護する。 convex、nonconvex、および nonsmooth 目的関数に対する収束保証を提供し、画像データと医療データセットで競争力のある結果を示す。

ABSTRACT

Horizontal Federated learning (FL) handles multi-client data that share the same set of features, and vertical FL trains a better predictor that combine all the features from different clients. This paper targets solving vertical FL in an asynchronous fashion, and develops a simple FL method. The new method allows each client to run stochastic gradient algorithms without coordination with other clients, so it is suitable for intermittent connectivity of clients. This method further uses a new technique of perturbed local embedding to ensure data privacy and improve communication efficiency. Theoretically, we present the convergence rate and privacy level of our method for strongly convex, nonconvex and even nonsmooth objectives separately. Empirically, we apply our method to FL on various image and healthcare datasets. The results compare favorably to centralized and synchronous FL methods.

研究の動機と目的

• 非同期のクライアント更新を伴う垂直（特徴量分割）フェデレーテッドラーニングの課題に対処する。
• 各クライアントが自分のローカル埋め込みを独立して訓練し、コンパクトな埋め込みのみを伝達できるようにする。
• 摂動されたローカル埋め込みを介したプライバシー保護機構を提供し、差分プライバシー保証を分析する。
• 非凸・強凸・非滑らかな目的関数を対象とする非同期遅延下での収束速度を確立する。
• 画像データと医療データセットにわたるフェデレーテッドロジスティック回帰および深層学習タスクで手法を検証する。

提案手法

• グローバルサーバモデルtheta0と各クライアントのローカル埋め込みhiを局所データxmから写像して定式化された垂直FLを定式化する；F(theta0, theta) = (1/N) ∑_n ell(theta0, h_n,1, ..., h_n,M; y_n) + ∑_m r(theta_m) を最適化する。
• VAFLを提案する：アクティブなクライアントがh_n,mをアップロードし、勾配を照会して局所のthetasを更新する非同期クライアント更新；サーバは遅延した埋め込みを用いてtheta0を更新する；協調のないデータ選択と断続的な参加をサポートする。
• 埋め込みの各層にランダムなニューロンZ_lを追加して mappings を滑らかにし、差分プライバシーを可能にするよう摂動されたローカル埋込を組み込む；摂動は Z_L ~ N(0, c^2) および Z_l ~ Uniform[-√3 cl, √3 cl] を定義する。
• 有限遅延および確率的に無限遅延の下で、非凸および強凸の場合の収束結果を確立し；非凸に対してO(1/√K)、強凸に対してO(1/K)となるステップサイズスケジュールを提供する。
• 摂動された埋め込みが Z の期待により F_c という滑らかな目的関数を生じさせることを示す平滑化解析を導入し、収束証明を可能にする。
• mu-Gaussian差分プライバシーを用いたプライバシー-有用性のトレードオフを実証し、GDP保証のための摂動分散の条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 非同期の更新を、非線形であり得る、あるいは非滑らかなローカル埋め込みを用いる垂直FLで効果的に使用できるか。
• RQ2 有界遅延および無限遅延の下で、VAFLが非凸および強凸目的に対して達成できる収束速度はどの程度か。
• RQ3 ローカル埋め込みの摂動が、プライバシー保証（GDP）と学習性能の双方にどのような影響を与えるか。
• RQ4 VAFLは画像データセットと医療データセット上で、中央化および同期FLと比較して競争力のある性能を達成できるか。

主な発見

• VAFLは、有界遅延下で非凸の場合にO(1/√K)の収束、強凸場合にはO(1/K)の収束を達成する。
• 確率的無限遅延の下では、VAFLは有界遅延の場合と同じオーダーの収束速度を達成する。
• 摂動されたローカル埋込みは目的関数を滑らかにし、精度の著しい低下を招くことなく差分プライバシーを可能にし、GDP保証は摂動分散に関連する。
• MNIST, Fashion-MNIST, CIFAR10, Parkinson’s dataset, ModelNet40, and MIMIC-III における実証結果は、VAFLが中央化モデルと同程度の精度を達成し、完全同期FLより実時間で優れていることを示す。
• 本フレームワークは断続的なクライアント参加と差分プライバシー技術によるデータプライバシーをサポートしつつ、競争力のある性能を維持する。