[論文レビュー] CalFAT: Calibrated Federated Adversarial Training with Label Skewness

Chen Chen, Yuchen Liu+2 more|arXiv (Cornell University)|May 30, 2022

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本稿では、少数クラスを優先するようにログティを適応的にキャリブレーションすることで、ラベルスケวiness下での訓練を安定化させるキャリブレートされたフェデレーテッドアドバーシャルトレーニング（CalFAT）を提案する。均一なローカルモデルを促進することで、CalFATは収束を高速化し、自然精度を著しく向上（極端なスケイビング下で最大61.00%）する一方で、強力な耐性を維持し、複数のデータセットおよびスケイビングレベルで既存のFATベースラインを上回る性能を発揮する。

ABSTRACT

Recent studies have shown that, like traditional machine learning, federated learning (FL) is also vulnerable to adversarial attacks. To improve the adversarial robustness of FL, federated adversarial training (FAT) methods have been proposed to apply adversarial training locally before global aggregation. Although these methods demonstrate promising results on independent identically distributed (IID) data, they suffer from training instability on non-IID data with label skewness, resulting in degraded natural accuracy. This tends to hinder the application of FAT in real-world applications where the label distribution across the clients is often skewed. In this paper, we study the problem of FAT under label skewness, and reveal one root cause of the training instability and natural accuracy degradation issues: skewed labels lead to non-identical class probabilities and heterogeneous local models. We then propose a Calibrated FAT (CalFAT) approach to tackle the instability issue by calibrating the logits adaptively to balance the classes. We show both theoretically and empirically that the optimization of CalFAT leads to homogeneous local models across the clients and better convergence points.

研究の動機と目的

• ラベルスケイビングを伴う非IIDデータ下でのフェデレーテッドアドバーシャルトレーニング（FAT）における不安定性と自然精度の低下を解消すること。
• ラベルスケイビング下でのFATにおける訓練の不安定性の根本的原因を特定すること、特に歪んだクラス確率と異種のローカルモデルが原因であることを特定すること。
• ラベルスケイビング下でも安定的かつ収束性があり、高い性能を発揮するFATを実現する方法を開発すること。
• キャリブレーションされたトレーニングが、クライアント間で均一なローカルモデルを形成することを示し、一般化性能と性能の向上に寄与すること。

提案手法

• CalFATは、少数クラスのログティを適応的に増加させることでクラス確率をバランスさせる、キャリブレートされた交差エントロピー（CCE）損失を導入する。
• ローカルトレーニング中により効果的なアドバーシャル例を生成するために、キャリブレートされた知識蒸留（CKL）損失を採用する。
• CCEとCKLの両損失を同時に最適化することで、モデルのキャリブレーションと耐性を向上させる。
• ローカルラベル分布に基づいてクライアントごとにログティを動的にキャリブレーションすることで、モデルの非均一性を低減する。
• 非IIDデータ下でも、クライアント間のローカルモデルがより均一な解に収束することを保証する。
• CalFATは標準的なFLパイプラインを維持するが、ラベルスケイビングに対応するため、キャリブレートされた損失関数をローカルトレーニングに適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルスケイビング下でのフェデレーテッドアドバーシャルトレーニングにおける訓練の不安定性と自然精度の低下の原因は何か？
• RQ2 モデルキャリブレーションは、ラベルスケイビングがローカルモデルの均一性と収束に与える悪影響をどのように緩和できるか？
• RQ3 適応的ログティキャリブレーションは、非IIDラベル分布下でのFATにおいて自然精度と耐性の両方を向上させることができるか？
• RQ4 さまざまなレベルのラベルスケイビング下で、CalFATは既存のFATベースラインと比較して収束速度、自然精度、耐性の点でどのように異なるか？
• RQ5 CalFATの性能におけるCCEとCKL損失成分の相対的寄与度は何か？

主な発見

• CIFAR-10でβ=0.05（極端なラベルスケイビング）の設定下、CalFATは61.00%の自然精度を達成し、すべてのベースラインが同条件で30%未満に低下するのを上回る。
• β=0.05の設定下、CalFATはFGSM攻撃に対して32.40%の耐性精度を維持し、次に優れたベースラインよりも顕著に高い。
• 100人のクライアントを想定した場合、CalFATは41.23%の自然精度を達成し、ベースラインと比べて顕著な優位性を示し、高いクライアント非均一性下でもスケーラブルであることを示す。
• アブレーションスタディの結果、CCE損失を削除すると性能が著しく低下し、モデルキャリブレーションと収束におけるその重要性が示された。
• CCEとCKL損失の組み合わせが最良の性能を発揮し、CKLはCCE単体よりも耐性をさらに向上させる。
• IID設定下でも、CalFATは最高の耐性（PGD-20攻撃）を達成しており、より挑戦が少ないデータ分布でも有効であることが確認された。