[论文解读] CalFAT: Calibrated Federated Adversarial Training with Label Skewness

Chen Chen, Yuchen Liu+2 more|arXiv (Cornell University)|May 30, 2022

Adversarial Robustness in Machine Learning被引用 15

一句话总结

该论文提出 CalFAT，一种校准的联邦对抗训练方法，通过自适应校准logits以优先考虑少数类，在标签偏移情况下稳定训练。通过促进本地模型的同质性，CalFAT 实现了更快的收敛速度和显著提升的自然准确率（在极端偏移下最高达61.00%），同时保持了强大的鲁棒性，在多个数据集和偏移水平下优于现有的FAT基线方法。

ABSTRACT

Recent studies have shown that, like traditional machine learning, federated learning (FL) is also vulnerable to adversarial attacks. To improve the adversarial robustness of FL, federated adversarial training (FAT) methods have been proposed to apply adversarial training locally before global aggregation. Although these methods demonstrate promising results on independent identically distributed (IID) data, they suffer from training instability on non-IID data with label skewness, resulting in degraded natural accuracy. This tends to hinder the application of FAT in real-world applications where the label distribution across the clients is often skewed. In this paper, we study the problem of FAT under label skewness, and reveal one root cause of the training instability and natural accuracy degradation issues: skewed labels lead to non-identical class probabilities and heterogeneous local models. We then propose a Calibrated FAT (CalFAT) approach to tackle the instability issue by calibrating the logits adaptively to balance the classes. We show both theoretically and empirically that the optimization of CalFAT leads to homogeneous local models across the clients and better convergence points.

研究动机与目标

• 为解决在具有标签偏移的非独立同分布（non-IID）数据下联邦对抗训练（FAT）的不稳定性和自然准确率下降问题。
• 识别在标签偏移下FAT训练不稳定的根源，特别是偏斜的类别概率和异质的本地模型。
• 开发一种方法，实现在标签偏移下稳定、收敛且高性能的FAT，同时保持鲁棒性。
• 证明校准训练可使各客户端的本地模型趋于同质，从而提升泛化能力和性能。

提出的方法

• CalFAT 引入了一种校准交叉熵（CCE）损失，通过自适应提升少数类的logits以平衡类别概率。
• 它采用了一种校准的知识蒸馏（CKL）损失，在本地训练期间生成更有效的对抗样本。
• 该方法联合优化CCE和CKL损失，以提升模型校准能力和鲁棒性。
• 基于本地标签分布，按客户端动态校准logits，以减少模型异质性。
• 该方法确保在非独立同分布数据下，各客户端的本地模型仍能收敛至更同质的解。
• CalFAT 保持标准联邦学习（FL）流程，但通过在本地训练中引入校准损失函数来处理标签偏移。

实验结果

研究问题

• RQ1 在标签偏移下，联邦对抗训练中训练不稳定的根源是什么？
• RQ2 模型校准如何缓解标签偏移对本地模型同质性和收敛性产生的负面影响？
• RQ3 自适应logits校准能否在非独立同分布的标签分布下同时提升自然准确率和鲁棒性？
• RQ4 在不同程度的标签偏移下，CalFAT 与现有FAT基线在收敛速度、自然准确率和鲁棒性方面的表现如何比较？
• RQ5 CCE和CKL损失组件在CalFAT性能中的相对贡献是什么？

主要发现

• 在CIFAR-10数据集上，当β=0.05（极端标签偏移）时，CalFAT实现了61.00%的自然准确率，优于所有基线方法，后者在相同设置下自然准确率均低于30%。
• 在β=0.05条件下，CalFAT在FGSM攻击下保持了32.40%的鲁棒准确率，显著高于次优基线方法。
• 在100个客户端设置下，CalFAT实现了41.23%的自然准确率，远超基线方法，证明了其在高客户端异质性下的可扩展性。
• 消融研究显示，若移除CCE损失，性能显著下降，表明其在模型校准和收敛中起着关键作用。
• CCE与CKL损失的结合带来了最佳性能，且CKL进一步提升了CCE单独作用时的鲁棒性。
• 在IID设置下，CalFAT在PGD-20攻击下实现了最佳鲁棒性，证实其在数据分布挑战性较低时也具有有效性。