[論文レビュー] Faithful Edge Federated Learning: Scalability and Privacy

Meng Zhang, Ermin Wei+1 more|arXiv (Cornell University)|Jun 30, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用数 4

ひとこと要約

本稿では、非独立同分布（non-i.i.d.）かつ不均衡なデータ下で、参加者による誠実な参加と実行を保証する最初のメカニズムである忠実エッジ分散学習（FFL）と、その微分プライバシーを備えた変種（DP-FFL）を提案する。VCG報酬の逐次的計算とクラスタリングによる近似により、FFLは$Ø(\log K)$の時間計算量を達成し、誠実な実装、自発的参加、プライバシー保護を実現する。また、プライバシー、収束速度、報酬正確性の損失の三重のトレードオフを実現する。

ABSTRACT

Federated learning enables machine learning algorithms to be trained over a network of multiple decentralized edge devices without requiring the exchange of local datasets. Successfully deploying federated learning requires ensuring that agents (e.g., mobile devices) faithfully execute the intended algorithm, which has been largely overlooked in the literature. In this study, we first use risk bounds to analyze how the key feature of federated learning, unbalanced and non-i.i.d. data, affects agents' incentives to voluntarily participate and obediently follow traditional federated learning algorithms. To be more specific, our analysis reveals that agents with less typical data distributions and relatively more samples are more likely to opt out of or tamper with federated learning algorithms. To this end, we formulate the first faithful implementation problem of federated learning and design two faithful federated learning mechanisms which satisfy economic properties, scalability, and privacy. Further, the time complexity of computing all agents' payments in the number of agents is $\mathcal{O}(1)$. First, we design a Faithful Federated Learning (FFL) mechanism which approximates the Vickrey-Clarke-Groves (VCG) payments via an incremental computation. We show that it achieves (probably approximate) optimality, faithful implementation, voluntary participation, and some other economic properties (such as budget balance). Second, by partitioning agents into several subsets, we present a scalable VCG mechanism approximation. We further design a scalable and Differentially Private FFL (DP-FFL) mechanism, the first differentially private faithful mechanism, that maintains the economic properties. Our mechanism enables one to make three-way performance tradeoffs among privacy, the iterations needed, and payment accuracy loss.

研究の動機と目的

• 非i.i.d.かつ不均衡なデータ分布下でも、参加者が誠実に分散学習を実行することを保証するインcentiveメカニズムの欠如に対処すること。
• 戦略的参加行動下でも、自発的参加と誠実な実装を保証するメカニズムを設計すること。
• スケーラビリティと微分プライバシーを維持しながら、予算バランスや近似的最適性といった重要な経済的性質を保持すること。
• 微分プライバシー環境下で、プライバシー、収束速度、報酬正確性の損失の三重のトレードオフを可能にすること。

提案手法

• Vickrey–Clarke–Groves（VCG）報酬を逐次的計算により近似することで、誠実な報告と誠実な実行を保証する忠実分散学習（FFL）メカニズムを提案する。
• メカニズムのスケーラビリティを向上させるために、VCG近似をクラスタリングを用いて行い、参加者数$K$に対して$Ø(\log K)$の時間計算量に低減する。
• 報酬に適切にキャリブレーションされたノイズを追加することで、微分プライバシーを備えた変種、DP-FFLを設計し、経済的性質を維持するとともに、プライバシー・正確性・収束速度のトレードオフを可能にする。
• 非i.i.d.データ下での参加者のインセンティブを分析するためにリスクバウンズを用い、より典型的でないデータと多数のサンプルを持つ参加者が、脱退または操作を行う可能性が高くなることが明らかになった。
• 計算コストを低減するために、参加者のグローバルモデル改善に対する限界寄与度に基づく報酬メカニズムを採用し、逐次的アップデートで計算を実行する。
• Laplaceノイズを報酬メカニズムに追加することで、微分プライバシーを実装し、個々の参加者の寄与度が隠蔽されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 不均衡かつ非i.i.d.なデータ分布は、参加者に対して自発的参加や誠実な実行を妨げる要因となるか？
• RQ2 エッジ分散学習において、スケーラビリティとプライバシーを維持しながら、誠実な実装を保証するメカニズムを設計可能か？
• RQ3 微分プライバシーを備えた忠実な分散学習メカニズムにおいて、プライバシー、収束速度、報酬正確性の損失の間にはどのようなトレードオフが存在するか？
• RQ4 本稿で提案するメカニズムは、ベースラインの分散学習（例：FedAvg）およびローカル学習と比較して、性能および参加者のインセンティブ面でどのように異なるか？

主な発見

• FFLメカニズムは（おそらく近似的に）最適性、誠実な実装、自発的参加、予算バランスを達成し、参加者数$K$に対して$Ø(\log K)$の時間計算量を有する。
• DP-FFLメカニズムは、微分プライバシーを備えた最初の忠実な分散学習メカニズムであり、プライバシー、収束イテレーション、報酬正確性の損失の三重のトレードオフを実現可能である。
• FFLおよびDP-FFLは、特に中程度のデータ非同一性（$\Delta \leq 0.15$）下で、改ざんされたFedAvgおよびローカル学習と比較して、グローバル損失とテスト精度の両面で顕著に優れている。
• データ非同一性が高くなる（$\Delta \geq 0.15$）と、ローカル学習が分散学習を上回る場合があるが、FFLおよびDP-FFLは依然として改ざんされたFedAvgよりも優れた結果をもたらす。
• プライバシーリスク$\alpha$が高くなるほど、およびクラスタ数$L$が増加するほど、報酬正確性の損失は低下し、$L \geq 4$で低損失を維持するのに十分である。
• トレーニングサンプル数$n$は、ローカル学習および改ざんされたFedAvgに対してより大きな影響を及ぼすが、FFLやDP-FFLに対してはそれほど顕著でない。これは、提案されたメカニズムがデータの不均衡に対してより頑健であることを示している。