[論文レビュー] Byzantine-Robust Clustered Federated Learning

Zhixu Tao, Kun Yang+1 more|arXiv (Cornell University)|Jun 1, 2023

HIV, Drug Use, Sexual RiskMedicine被引用数 3

ひとこと要約

本稿では、敵対的攻撃に対しても正常なマシンのクラスタを特定し、局所モデルを最適化できる、Byzantine耐性を持つ反復型フェデレーテッドクラスタリングアルゴリズムを提案する。IFCAフレームワークに座標単位のトリムド平均および中央値集約を統合することで、強い凸性のもとで収束を達成し、特に次元が高く、クラスタ数が多い状況下でも既存手法を上回る性能を発揮する。

ABSTRACT

This paper focuses on the problem of adversarial attacks from Byzantine machines in a Federated Learning setting where non-Byzantine machines can be partitioned into disjoint clusters. In this setting, non-Byzantine machines in the same cluster have the same underlying data distribution, and different clusters of non-Byzantine machines have different learning tasks. Byzantine machines can adversarially attack any cluster and disturb the training process on clusters they attack. In the presence of Byzantine machines, the goal of our work is to identify cluster membership of non-Byzantine machines and optimize the models learned by each cluster. We adopt the Iterative Federated Clustering Algorithm (IFCA) framework of Ghosh et al. (2020) to alternatively estimate cluster membership and optimize models. In order to make this framework robust against adversarial attacks from Byzantine machines, we use coordinate-wise trimmed mean and coordinate-wise median aggregation methods used by Yin et al. (2018). Specifically, we propose a new Byzantine-Robust Iterative Federated Clustering Algorithm to improve on the results in Ghosh et al. (2019). We prove a convergence rate for this algorithm for strongly convex loss functions. We compare our convergence rate with the convergence rate of an existing algorithm, and we demonstrate the performance of our algorithm on simulated data.

研究の動機と目的

• 一部のマシンが不正な更新を送信することで学習を歪めるByzantine攻撃の問題に取り組む。
• 特定のクラスタを標的にするByzantineマシンが存在しても、共有されるデータ分布に基づいて正常なマシンを互いに素性の異なるグループに分類できる、耐性のあるクラスタリングを実現する。
• 敵対的状況下でクラスタメンバーシップを同時に推定し、局所モデルを最適化する反復的アルゴリズムを設計する。
• 正常なマシンのデータサイズが等しくない状況でも、最小データポイント数の閾値を満たせば、強い凸性の損失関数に対して収束を達成する。
• 次元数やクラスタ数に依存する部分を低減することで、従来の手法を改善し、特に次元が高く、クラスタ数が多い環境下で優位性を発揮する。

提案手法

• クラスタ割り当てとモデル最適化を交互に繰り返す、反復型フェデレーテッドクラスタリングアルゴリズム（IFCA）フレームワークを採用する。
• Byzantine更新の影響を軽減するために、座標単位のトリムド平均および座標単位の中央値集約を統合する。
• 各反復における損失関数値を用いて、クラスタ中心との類似度に基づき、正常なマシンをクラスタに割り当てる。
• Byzantineマシンがクラスタ中心の3倍の勾配を計算することで、悪意のある外れ値を生成し、最悪ケースの攻撃をシミュレートする。
• 各座標におけるモデル更新のうち、最も極端な値を除外するロバストな集約ルールを適用し、収束性を維持する。
• 正常なマシンの最小データポイント数および最悪ケースのByzantineマシン割合に関する仮定のもとで、強い凸性のもとでの収束性を証明する。

実験結果

リサーチクエスチョン

• RQ1 一部のクライアントがByzantineであり、特定のクラスタを標的にする場合でも、フェデレーテッドクラスタリングアルゴリズムが収束性と精度を維持できるか？
• RQ2 Byzantine攻撃の存在下で、ロバスト集約（トリムド平均／中央値）の性能は、標準的なFedAvgと比べてどのように異なるか？
• RQ3 高次元性およびクラスタ数の増加が、ロバストフェデレーテッドクラスタリングの収束性および誤差率に与える影響は何か？
• RQ4 特に高次元または大規模クラスタ環境下において、提案手法は既存手法（Three-Stage Algorithm）よりも優れた誤差率を達成できるか？
• RQ5 強い凸性のもとで、提案されたByzantine耐性IFCAフレームワークの理論的収束保証は何か？

主な発見

• 座標単位のトリムド平均および中央値集約を用いた本手法は、Byzantine攻撃下でも強い凸性の損失関数に対して収束を達成する。
• 低次元設定（d ≤ 50）ではThree-Stage Algorithmが最も優れた性能を示すが、次元dが増加するにつれてその性能が著しく低下する。これは高次元における不適切なクラスタリングに起因する。
• FedAvgを用いたIFCAフレームワークは、Byzantine更新に対して耐性がないため、本手法より性能が劣る。
• 高次元問題（d = 500）およびクラスタ数の増加（k = 2 から 15）の状況下では、本手法はFedAvgを用いたIFCAおよびThree-Stage Algorithmを常に上回る。
• 誤差指標 dist = (1/k)∑‖θ̂j − θj*‖ は、dが大きい場合やkが増加する場合に、本手法が全テスト設定で平均誤差を低く抑えることを示している。
• 本手法の性能は、Byzantineマシンの割合α = 0.05に対しても安定しており、すべてのByzantineマシンが最小クラスタを標的にする場合でも収束性を維持する。