[論文レビュー] Over-The-Air Federated Learning under Byzantine Attacks

Houssem Sifaou, Geoffrey Ye Li|arXiv (Cornell University)|May 5, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、クライアントをグループ化し、AirCompベースのモデル更新中にビザンチン攻撃に対して防御するための幾何学的中央値集約を用いる、耐障害性を持つオーバーザエア・フェデレーテッドラーニング（ROTAF）フレームワークを提案する。本手法は、半数未満のグループが改ざんされても、ノイズ分散と攻撃者数に比例する誤差で抑えられる線形収束を、最適解の近傍に保証する。

ABSTRACT

Federated learning (FL) is a promising solution to enable many AI applications, where sensitive datasets from distributed clients are needed for collaboratively training a global model. FL allows the clients to participate in the training phase, governed by a central server, without sharing their local data. One of the main challenges of FL is the communication overhead, where the model updates of the participating clients are sent to the central server at each global training round. Over-the-air computation (AirComp) has been recently proposed to alleviate the communication bottleneck where the model updates are sent simultaneously over the multiple-access channel. However, simple averaging of the model updates via AirComp makes the learning process vulnerable to random or intended modifications of the local model updates of some Byzantine clients. In this paper, we propose a transmission and aggregation framework to reduce the effect of such attacks while preserving the benefits of AirComp for FL. For the proposed robust approach, the central server divides the participating clients randomly into groups and allocates a transmission time slot for each group. The updates of the different groups are then aggregated using a robust aggregation technique. We extend our approach to handle the case of non-i.i.d. local data, where a resampling step is added before robust aggregation. We analyze the convergence of the proposed approach for both cases of i.i.d. and non-i.i.d. data and demonstrate that the proposed algorithm converges at a linear rate to a neighborhood of the optimal solution. Experiments on real datasets are provided to confirm the robustness of the proposed approach.

研究の動機と目的

• 悪意あるクライアントがモデル更新を操作する可能性があるオーバーザエア・フェデレーテッドラーニング（OTA-FL）の脆弱性を是正すること。
• 通信効率を損なわずにAirCompの特性を保ちながら、悪意あるクライアントに対して耐性を持つこと。
• 非i.i.d.データ分布下でも収束を可能にするために、耐障害的集約の前段階でリサンプリング手順を導入すること。
• i.i.d.および非i.i.d.データの両方に対して収束性を理論的に分析し、最適解の近傍への線形収束を証明すること。
• 実データセットを用いた実験を通じて、提案フレームワークの耐障害性と有効性を検証すること。

提案手法

• 中央サーバーは参加クライアントをグループに分割し、各グループに専用の時間スロットを割り当てて同時にオーバーザエアで送信を実行する。
• 異なるグループからのモデル更新は、幾何的中央値集約を用いて集約され、ビザンチン攻撃からの防御が可能になる。
• 非i.i.d.データの場合、耐障害的集約の前にリサンプリング手順を適用することで収束安定性を向上させる。
• フレームワークはs-リプレースメントを用いたリサンプリングメカニズムを採用し、悪意ある入力からの分散を低減して安定な更新推定を実現する。
• 理論的分析では、確率的集中とリサンプリング技術を用いて幾何的中央値推定誤差の上限を導出する。
• 損失関数に対する標準的仮定の下で収束性を証明し、ノイズと攻撃者数に依存する漸近的誤差を伴う線形収束レートを示す。

実験結果

リサーチクエスチョン

• RQ1 通信効率を損なわず、オーバーザエア・フェデレーテッドラーニングをビザンチン攻撃に対して耐性を持たせることは可能か？
• RQ2 グループベース送信と幾何的中央値集約は、AirCompにおける単純平均と比較して、どのように耐性を向上させるか？
• RQ3 i.i.d.および非i.i.d.データ分布下での、提案手法の理論的収束挙動はいかなるものか？
• RQ4 リサンプリング手順は、異種データの存在下で、耐障害性と収束性にどのように影響を与えるか？
• RQ5 ビザンチン攻撃者が存在する状況下での漸近的学習誤差の上限は何か？

主な発見

• 提案されたROTAFフレームワークは、i.i.d.および非i.i.d.データ環境下で、最適解の近傍への線形収束を達成する。
• ビザンチングループ数が総グループ数の半数未満である限り、アルゴリズムは耐障害性を保ち、信頼性高く収束する。
• 漸近的学習誤差は、ノイズ分散と攻撃者数に比例する項によって上限づけられる。
• リサンプリング手順により、非i.i.d.データ下での収束安定性が顕著に向上し、データの非同一性の影響が軽減される。
• 数値実験により、ROTAFは単純平均によるOTA-FLよりもビザンチン攻撃に対する耐性が優れていることが確認された。
• 理論的分析により、誤差上限がグループサイズの逆数に比例し、幾何的中央値推定誤差に依存するが、リサンプリングにより制御可能であることが示された。