[論文レビュー] Free-rider Attacks on Model Aggregation in Federated Learning

Yann Fraboni, D. Acosta+1 more|arXiv (Cornell University)|Jun 21, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用数 12

ひとこと要約

この論文は、フェデレーテッドラーニングにおけるフリーライダー攻撃の、理論的かつ実験的分析を初めて提示している。フリーライダーはデータ寄与を回避しながらも、グローバルモデルを受信する。単純な戦略（例：各ラウンドでグローバルモデルを返す）が、公平なクライアントの集約モデルに成功して収束することを示し、検出されないまま収束を達成するための確率的パラメータ更新を用いた偽装フリーライディングを提案する。

ABSTRACT

Free-rider attacks against federated learning consist in dissimulating participation to the federated learning process with the goal of obtaining the final aggregated model without actually contributing with any data. This kind of attacks is critical in sensitive applications of federated learning, where data is scarce and the model has high commercial value. We introduce here the first theoretical and experimental analysis of free-rider attacks on federated learning schemes based on iterative parameters aggregation, such as FedAvg or FedProx, and provide formal guarantees for these attacks to converge to the aggregated models of the fair participants. We first show that a straightforward implementation of this attack can be simply achieved by not updating the local parameters during the iterative federated optimization. As this attack can be detected by adopting simple countermeasures at the server level, we subsequently study more complex disguising schemes based on stochastic updates of the free-rider parameters. We demonstrate the proposed strategies on a number of experimental scenarios, in both iid and non-iid settings. We conclude by providing recommendations to avoid free-rider attacks in real world applications of federated learning, especially in sensitive domains where security of data and models is critical.

研究の動機と目的

• モデル平均化（例：FedAvg、FedProx）に基づくフェデレーテッドラーニングにおけるフリーライダー攻撃の実現可能性と成功条件を調査する。
• フリーライディングを確率過程として形式化し、理論的収束保証を導出する。
• フリーライダーが、i.i.d. および non-i.i.d. の両設定下での収束速度と最終モデル性能に与える影響を評価する。
• 標準の外れ値ベース防御から検出を回避する偽装フリーライディング戦略を提案・分析する。
• データが乏しく、機密性の高い応用分野におけるフリーライディングへの防御策を実用的提案する。

提案手法

• 反復ごとのパラメータ進化をモデル化する確率過程としてフェデレーテッドラーニングを再定式化する。
• SGDの連続時間近似を用いて、フリーライダー収束の理論的条件を導出する。
• 攻撃者が局所更新を行わず、各ラウンドでグローバルモデルを返すことで、単純なフリーライディングを実装する。
• 正当なクライアント行動を模倣するため、グローバルモデルの確率的摂動を用いた偽装フリーライディングを設計する。
• 複数のデータセットを用いて、FedAvg および FedProx における自由度の異なるフリーライダー比（例：50%、90%）を想定した実験を実施する。
• 収束速度、損失トレース、最終精度を分析して、攻撃の成功度とモデル品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 FedAvg/FedProx において、フリーライダーが公平なクライアントのグローバルモデルに到達する理論的条件は何か？
• RQ2 フリーライダーの存在が、フェデレーテッドラーニングの収束速度と最終的性能に与える影響は？
• RQ3 確率的パラメータ更新を用いた偽装フリーライディング戦略は、標準の外れ値ベース防御から検出を回避できるか？
• RQ4 フリーライダー比を変化させた場合（例：50% 対 90%）、モデルの収束と精度に与える影響は？
• RQ5 非i.i.d. データ分布は、フリーライダー攻撃の有効性と検出可能性にどのような影響を与えるか？

主な発見

• 各ラウンドでグローバルモデルを返す単純なフリーライディングは、理論的分析により、公平なクライアントの集約モデルに収束することが保証される。
• フリーライダーが50%までであれば、公平なフェデレーテッドラーニングと比較して収束はわずかに遅れるが、最終的なモデル精度は同等に達成される。
• フリーライダーが90%に達しても、収束は極めて遅くなるが、依然として公平なクライアント学習のばらつき内に収まる精度のモデルに到達する。
• 損失トレースでは、クライアント数が少ない場合に見られる「ピーク」が観察されるが、パラメータ平均化による正則化効果により、フリーライディング下ではそれらが小さくなる。
• 訓練中は完全な収束に至らないものの、最終的なモデル品質は公平なクライアント集約と同等であり、平均化プロセスの頑健性を示している。
• フリーライディング攻撃は、更新内容が正当な更新と区別できないため、標準の外れ値検出メカニズムでは検出されない。