[논문 리뷰] CalFAT: Calibrated Federated Adversarial Training with Label Skewness

Chen Chen, Yuchen Liu외 2명|arXiv (Cornell University)|2022. 05. 30.

Adversarial Robustness in Machine Learning인용 수 15

한 줄 요약

이 논문은 레이블 불균형 상황에서 토포그래피를 안정화하기 위해 소수 클래스를 우선시하는 로짓을 적응적으로 校정하는 보정된 분산형 적대적 훈련(CalFAT)을 제안한다. 균일한 로컬 모델을 촉진함으로써 CalFAT은 빠른 수렴과 자연 정확도의 급격한 향상(극단적 불균형 하에서 최대 61.00%)을 달성하면서도 강력한 내성성을 유지하며, 다양한 데이터셋과 불균형 수준에서 기존의 FAT 기반 모델들을 능가한다.

ABSTRACT

Recent studies have shown that, like traditional machine learning, federated learning (FL) is also vulnerable to adversarial attacks. To improve the adversarial robustness of FL, federated adversarial training (FAT) methods have been proposed to apply adversarial training locally before global aggregation. Although these methods demonstrate promising results on independent identically distributed (IID) data, they suffer from training instability on non-IID data with label skewness, resulting in degraded natural accuracy. This tends to hinder the application of FAT in real-world applications where the label distribution across the clients is often skewed. In this paper, we study the problem of FAT under label skewness, and reveal one root cause of the training instability and natural accuracy degradation issues: skewed labels lead to non-identical class probabilities and heterogeneous local models. We then propose a Calibrated FAT (CalFAT) approach to tackle the instability issue by calibrating the logits adaptively to balance the classes. We show both theoretically and empirically that the optimization of CalFAT leads to homogeneous local models across the clients and better convergence points.

연구 동기 및 목표

• 비독립 동일 분포(IID) 데이터와 레이블 불균형 상황에서 분산형 적대적 훈련(FAT)의 불안정성과 자연 정확도 저하 문제를 해결하기 위해.
• 레이블 불균형 상황에서 FAT의 훈련 불안정성의 근본 원인을 특정하기 위해, 특히 왜곡된 클래스 확률과 이질적인 로컬 모델을 중심으로.
• 레이블 불균형 상황에서도 안정적이고 수렴 가능한, 뛰어난 성능을 보이는 FAT을 가능하게 하는 방법을 개발하기 위해.
• 보정된 훈련이 클라이언트 간에 균일한 로컬 모델을 이끌어내어 일반화 능력과 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• CalFAT은 소수 클래스의 로짓을 적응적으로 증가시켜 클래스 확률을 균형 잡는 보정된 교차 엔트로피(CCE) 손실을 도입한다.
• 로컬 훈련 중에 더 효과적인 적대적 예제를 생성하기 위해 보정된 지식 정복(CKL) 손실을 활용한다.
• CCE와 CKL 손실을 동시에 최적화하여 모델의 보정도와 내성성을 향상시킨다.
• 로컬 레이블 분포에 따라 클라이언트별로 동적으로 로짓을 보정하여 모델 이질성을 감소시킨다.
• 비독립 동일 분포 데이터 조건에서도 클라이언트 간 로컬 모델이 더 균일한 해에 수렴하도록 보장한다.
• CalFAT은 표준 FL 파이프라인을 유지하지만, 레이블 불균형을 다루기 위해 보정된 손실 함수로 로컬 훈련을 수정한다.

실험 결과

연구 질문

• RQ1 레이블 불균형 상황에서 분산형 적대적 훈련의 훈련 불안정성과 자연 정확도 저하의 원인은 무엇인가?
• RQ2 모델 보정은 레이블 불균형이 로컬 모델의 균일성과 수렴에 악영향을 미치는 데 어떻게 기여할 수 있는가?
• RQ3 적응적 로짓 보정은 비독립 동일 분포 레이블 분포 상황에서 자연 정확도와 내성성을 모두 향상시킬 수 있는가?
• RQ4 다양한 수준의 레이블 불균형 하에서 CalFAT은 기존의 FAT 기반 모델들과 비교해 수렴 속도, 자연 정확도, 내성성 측면에서 어떻게 다른가?
• RQ5 CCE와 CKL 손실 구성 요소가 CalFAT의 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• β=0.05(극도로 불균형한 레이블) 조건에서 CIFAR-10에서 CalFAT은 자연 정확도 61.00%를 달성하며, 동일 조건에서 모든 기준 모델보다 뛰어나며, 기준 모델은 30% 이하로 자연 정확도가 떨어진다.
• β=0.05 조건에서 CalFAT은 FGSM 공격에 대해 32.40%의 내성성 정확도를 유지하며, 다음으로 뛰어난 기준 모델보다 유의미하게 높다.
• 100명의 클라이언트 조건에서 CalFAT은 자연 정확도 41.23%를 달성하여 기준 모델들과의 상당한 격차를 보이며, 고도로 이질적인 클라이언트 환경에서도 확장 가능성을 입증한다.
• 제거 실험 결과, CCE 손실을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, CCE 손실이 모델 보정과 수렴에 핵심적인 역할을 한다는 것을 입증한다.
• CCE와 CKL 손실의 조합이 최고의 성능을 내며, CKL 손실은 CCE만 사용할 경우보다 추가로 내성성을 향상시킨다.
• IID 조건에서도 CalFAT은 최고의 내성성(PGD-20 공격 기준)을 달성하여, 덜 도전적인 데이터 분포 조건에서도 효과적임을 확인한다.