[論文レビュー] Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates

Zhuohang Li, Luyang Liu+2 more|arXiv (Cornell University)|Jul 3, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、ローカルモデル更新の空間的・時間的分析を活用して悪意あるクライアントを検出・フィルタリングする、バシリアン耐性を持つフェデレーテッドラーニング手法を提案する。クラスタリングに基づく空間的検出とモーメンタム駆動の時間的学習率適応を組み合わせることで、クライアントの識別子やデータ分布の知識を必要とせずに、静的および時間的関連攻撃の両方に対して最先端の耐性を達成する。MNISTおよびCIFAR-10において多様な攻撃状況下で、既存手法を上回る性能を発揮する。

ABSTRACT

Federated Learning (FL) enables multiple distributed clients (e.g., mobile devices) to collaboratively train a centralized model while keeping the training data locally on the client. Compared to traditional centralized machine learning, FL offers many favorable features such as offloading operations which would usually be performed by a central server and reducing risks of serious privacy leakage. However, Byzantine clients that send incorrect or disruptive updates due to system failures or adversarial attacks may disturb the joint learning process, consequently degrading the performance of the resulting model. In this paper, we propose to mitigate these failures and attacks from a spatial-temporal perspective. Specifically, we use a clustering-based method to detect and exclude incorrect updates by leveraging their geometric properties in the parameter space. Moreover, to further handle malicious clients with time-varying behaviors, we propose to adaptively adjust the learning rate according to momentum-based update speculation. Extensive experiments on 4 public datasets demonstrate that our algorithm achieves enhanced robustness comparing to existing methods under both cross-silo and cross-device FL settings with faulty/malicious clients.

研究の動機と目的

• クライアントのデータや識別子に関する事前知識なしに、悪意ある更新を検出・フィルタリングすることで、フェデレーテッドラーニングにおけるバシリアンクライアントの混乱を解消すること。
• 時間的に変化する攻撃やIPM、ALiEのような洗練された攻撃に対して、アグリゲーションプロセスに時間的ダイナミクスを組み込むことで耐性を向上させること。
• 高い故障率と非IIDデータ分布下でも、クロスデバイスおよびクロスシロのFL設定において、高いモデル精度と収束安定性を維持すること。
• 検出およびアグリゲーション中にクライアントの識別子やプライベートデータにアクセスする必要がないため、クライアントのプライバシーを保護すること。

提案手法

• パrameter空間におけるローカルモデル更新間のコサイン類似度を用いて、幾何的異常を特定し、クラスタリングに基づく悪意ある更新の検出を可能にする。
• k-meansクラスタリングを用いて更新をグループ化し、大多数のクラスタから著しく逸脱する外れ値をフィルタリングする。
• 履歴データを用いて期待されるグローバルモデル更新を推定するためのモーメンタムベースの更新予測を適用し、学習率の適応的調整を可能にする。
• 実際のクライアント更新と予測更新を比較することで、学習率を動的に調整し、時間的に変化する悪意ある行動に対して耐性を高める。
• 空間的検出と時間的適応を統合した統一されたアグリゲーションルールを採用し、クライアント識別子やデータ分布の仮定を必要としない。
• 安全なシャッフルや微分プライバシーなどの既存のプライバシー保護技術との統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 パrameter空間におけるモデル更新の空間的クラスタリングは、クライアント識別子やデータ分布にアクセスできない状況でも、バシリアンクライアントを効果的に検出できるか？
• RQ2 時間的に変化する悪意ある行動に対応するためのモーメンタムベースの更新予測は、動的FL環境において学習率を適応的に調整するのにどの程度有効か？
• RQ3 高い故障率（最大34%）と非IIDデータ分布下でも、提案手法はモデルの収束性と精度を維持できるか？
• RQ4 Krum やメディアンといった従来のロバストアグリゲーションルールを回避できる高度な時間的関連攻撃（IPM や ALiE）に対して、本手法はどの程度の性能を示すか？
• RQ5 本手法は、既存のバシリアン耐性フェデレーテッドラーニング手法と同等またはそれ以上の耐性を達成する一方で、どの程度のプライバシー保護を実現できるか？

主な発見

• CIFAR-10データセットにおいて、強力なラベルフリッピング攻撃下でも、本手法はテスト誤差の増加がたった3.53%にとどまり、攻撃なしのベースラインと同等の性能を示した。他の手法は収束に失敗した。
• 最大34%の悪意あるクライアントが存在する実験では、24の設定のうち17で最低のテスト誤差を達成し、他の手法がわずかに優れた場合でも差は0.1%未満であった。
• IPM攻撃に対しては、MNISTおよびCIFAR-10の両方で最低のテスト誤差を維持した。Krumでは誤差が18.70%増加したが、本手法はno-attackベースラインに最も近い結果を示し、10.10%増加にとどまった。
• Krumやトリムドミーンで完全に発散したALiE攻撃に対しても、本手法は安定した収束を示し、CIFAR-10ではわずか4.46%の誤差増加にとどまった。
• 100人のクライアント（うち34%が悪意ある）の非IID環境下でも、本手法は収束曲線が最も安定しており、FedAvg、Krum、メディアン、トリムドミーンに比べて優れた性能を示した。これらの手法は収束に失敗するか、非常に遅い収束を示した。
• 本手法はクロスシロおよびクロスデバイスのFL設定の両方で優れた性能を発揮し、多様な攻撃およびシステム条件下でも一般化性とスケーラビリティを示した。