[論文レビュー] One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them

Saber Salehkaleybar, Arsalan Sharifnassab+1 more|arXiv (Cornell University)|May 12, 2019

Privacy-Preserving Technologies in Data参考文献 21被引用数 6

ひとこと要約

本稿は、通信制約が厳しい状況下でも順序的に最適な推定を達成できる、ワンショットフェデレーテッドラーニングのためのマルチリゾリューション推定器（MRE）を導入する。推定誤差のタイトな下界を確立し、$ B \geq \log mn $ の条件下でMREがこの下界を多対数要因の誤差で達成することを証明している。$ m \to \infty $ のとき、$ n $ が定数であっても誤差はゼロに近づくため、大規模かつデータが乏しい状況に特に適している。

ABSTRACT

We consider distributed statistical optimization in one-shot setting, where there are $m$ machines each observing $n$ i.i.d. samples. Based on its observed samples, each machine sends a $B$-bit-long message to a server. The server then collects messages from all machines, and estimates a parameter that minimizes an expected convex loss function. We investigate the impact of communication constraint, $B$, on the expected error and derive a tight lower bound on the error achievable by any algorithm. We then propose an estimator, which we call Multi-Resolution Estimator (MRE), whose expected error (when $B\ge\log mn$) meets the aforementioned lower bound up to poly-logarithmic factors, and is thereby order optimal. We also address the problem of learning under tiny communication budget, and present lower and upper error bounds when $B$ is a constant. The expected error of MRE, unlike existing algorithms, tends to zero as the number of machines ($m$) goes to infinity, even when the number of samples per machine ($n$) remains upper bounded by a constant. This property of the MRE algorithm makes it applicable in new machine learning paradigms where $m$ is much larger than $n$.

研究の動機と目的

• 通信制約下でのワンショットフェデレーテッドラーニングにおける推定誤差の根本的理論的限界を確立すること。
• 理論的限界を多対数要因の誤差で達成するアルゴリズムを設計すること。
• 機械数 $ m $ が大きく、各機械のサンプル数 $ n $ が小さい場合のフェデレーテッドラーニングの性能を分析すること。
• 通信予算 $ B $ が中程度および極めて低い場合（$ B $ が定数）の推定誤差について、タイトな下界と上界を導出すること。

提案手法

• 局所的な経験的最小化子を階層的量子化スキームで符号化するマルチリゾリューション推定器（MRE）を提案し、限られたビット数下でも統計的精度を維持する。
• 関数インデックス上の確率分布の摂動に基づくミニマックス論法を用いて、推定誤差のタイトな下界を導出する。
• 各機械がその経験的最小化子をベルヌーイ分布による成分のサンプリングにより $ d $ ビットのバイナリ文字列として送信する、確率的シグナリング方式を採用する。
• 集中不等式および一次微分の滑らかさ仮定を用いて、推定誤差を $ m $, $ n $, $ B $ の関数として評価する。
• 確率ベクトル上の離散最適化問題への還元を用い、背理法と感度解析により下界を証明する。
• サーバーの最終推定値のバイアスとバイアスを分析し、確率的シグナリング法の誤差が $ O(d/m + d/n) $ であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 与えられた通信予算 $ B $ のもとで、ワンショットフェデレーテッドラーニングにおける推定誤差の根本的限界は何か？
• RQ2 $ B \geq \log mn $ の条件下で、アルゴリズムがこの下界を多対数要因の誤差で達成できるか？
• RQ3 $ m \to \infty $ かつ $ n $ が有界な場合、推定誤差はどのように振る舞うか。特に $ B $ が定数のとき？
• RQ4 各機械が少数のサンプルしか持たない状況でも、低誤差を維持できる通信効率の良い推定器は存在するか？
• RQ5 限られた通信量下で、MREのバイアス、バイアス、収束性は、既存の手法と比べてどう異なるか？

主な発見

• 本稿は、推定誤差のタイトな下界を確立した：$ \tilde{\Theta}\left(\max\left(n^{-1/2}(mB)^{-1/d}, (mn)^{-1/2}\right)\right) $（$ B \geq d\log mn $ のとき）。
• MRE推定器は、この下界を多対数要因の誤差で達成しており、中程度の通信予算下で順序的に最適である。
• $ B $ が定数の場合、誤差の一致する上界と下界を導出し、$ m $ と $ n $ が同時に増加すれば誤差を任意に小さくできることが示された。
• 従来の手法とは異なり、MREの誤差は $ m \to \infty $ のとき、$ n $ が有界であってもゼロに近づくため、大規模かつデータが乏しい環境でのスケーラビリティを実現できる。
• 確率的シグナリング法は、与えられた仮定と量子化モデル下で誤差 $ O(d/m + d/n) $ を達成しており、これは最適である。
• 理論的分析により、MREアルゴリズムが非滑らかな損失関数の上でもロバストであることが確認された。これは、一次微分のリプシッツ連続性のみを仮定しているためである。