[論文レビュー] Delving into the Adversarial Robustness of Federated Learning

Jie Zhang, Bo Li+5 more|arXiv (Cornell University)|Feb 19, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、決定境界に近いサンプルの局所的再重み付けと、集約されたグローバルモデルからのロジットを用いたグローバル正則化を組み合わせることで、クリーン精度とロバストネスの両方を向上させる、新しいフェデレーテッドラーニング手法である意思決定境界に基づくフェデレーテッド adversarial training (DBFAT) を提案する。DBFAT は、IID および非 IID データ設定の両方で複数のデータセットにおいて、敵対的防御性能を損なわずに、クリーン精度とロバスト精度の両方を一貫して最先端のベースラインを上回る性能を達成する。

ABSTRACT

In Federated Learning (FL), models are as fragile as centrally trained models against adversarial examples. However, the adversarial robustness of federated learning remains largely unexplored. This paper casts light on the challenge of adversarial robustness of federated learning. To facilitate a better understanding of the adversarial vulnerability of the existing FL methods, we conduct comprehensive robustness evaluations on various attacks and adversarial training methods. Moreover, we reveal the negative impacts induced by directly adopting adversarial training in FL, which seriously hurts the test accuracy, especially in non-IID settings. In this work, we propose a novel algorithm called Decision Boundary based Federated Adversarial Training (DBFAT), which consists of two components (local re-weighting and global regularization) to improve both accuracy and robustness of FL systems. Extensive experiments on multiple datasets demonstrate that DBFAT consistently outperforms other baselines under both IID and non-IID settings.

研究の動機と目的

• フェデレーテッドラーニングシステムの敵対的ロバストネスを調査し、特に非 IID データ分布下でのクリーン精度とロバストネスのトレードオフを明らかにすること。
• フェデレーテッドラーニングにおける標準的な敵対的訓練が、特に非 IID 環境下でクリーン精度を著しく低下させることの負の影響を特定すること。
• どちらの性能も犠牲にすることなく、クリーン精度とロバストネスの両方を向上させる新しいフェデレーテッド敵対的訓練手法を開発すること。

提案手法

• クライアントの更新中に局所的再重み付けを導入し、意思決定境界に近いサンプルに高い重みを割り当てることで、局所的なロバストネスを向上させる。
• グローバルモデルのロジットを用いたグローバル正則化項を適用し、訓練の安定化とクライアント間でのクリーン精度の向上を実現する。
• 交差エントロピーと敵対的サンプルに加え、意思決定境界に配慮した正則化成分を組み合わせたハイブリッド損失関数を用いる。
• 二段階の訓練プロセスを採用する：まず局所的な敵対的訓練と再重み付けを行い、その後グローバルモデルの集約と正則化を実施する。
• グローバルモデルのロジットを知識蒸留のシグナルとして扱い、局所モデルがより良い一般化を目指せるように誘導する。
• ハイパーパramータ $eta$ を最適化することで、クリーン精度とロバストネスのバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 なぜフェデレーテッドラーニングにおける標準的な敵対的訓練は、特に非 IID データ分布下でクリーン精度が著しく低下するのか？
• RQ2 クリーン精度を犠牲にせずに、フェデレーテッドラーニングにおける敵対的ロバストネスをどのように向上できるか？
• RQ3 意思決定境界は、フェデレーテッド敵対的訓練の性能低下にどのような役割を果たすのか？
• RQ4 局所的再重み付けとグローバル正則化を併用することで、フェデレーテッドラーニングにおけるロバストネスと精度の両方を向上させられるか？
• RQ5 提案手法は、多様なデータセットとデータ分布設定下で、最先端のフェデレーテッド敵対的訓練ベースラインと比較してどのように差をつけるか？

主な発見

• 非 IID CIFAR10 において、DBFAT は 52.16% のクリーン精度と 27.80% の平均ロバスト精度を達成し、すべてのベースラインを上回る。
• ImageNet-12 では、AutoAttack 条件下で 61.38% のクリーン精度と 22.08% のロバスト精度を達成し、テストされたすべての手法の中で最高の性能を示した。
• アブレーションスタディの結果、再重み付け戦略を削除すると、CIFAR10 でクリーン精度が 3.72% 減少することが判明し、データの不均衡緩和におけるその重要性が示された。
• MNIST において $eta=1.5$ の正則化項を適用した場合、平均ロバスト精度が 53.22% に達し、精度とロバストネスの最適なトレードオフが実現された。
• 訓練曲線の分析から、DBFAT は PGD_AT が一般化性能に欠けるため成績が悪いのとは異なり、訓練全体を通して高いクリーン精度を維持していることが分かった。
• FMNIST では、DBFAT は 75.89% のクリーン精度と 59.63% の平均ロバスト精度を達成し、再重み付けや正則化を適用しない手法を著しく上回った。