[논문 리뷰] Delving into the Adversarial Robustness of Federated Learning

Jie Zhang, Bo Li외 5명|arXiv (Cornell University)|2023. 02. 19.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 결정 경계 기반 페더레이티드 적대적 훈련(Decision Boundary based Federated Adversarial Training, DBFAT)을 제안한다. 이는 로컬에서 결정 경계 근처의 샘플에 대해 재가중치를 부여하고, 집계된 글로벌 모델의 로짓을 사용한 글로벌 정규화를 결합함으로써 청소화 정확도와 강건성을 동시에 향상시키는 새로운 페더레이티드 러닝 방법이다. DBFAT는 IID 및 비-IID 데이터 설정을 가리지 않고 여러 데이터셋에서 최신 기준 성능을 뛰어넘으며, 적대적 방어 성능을 희생시키지 않고도 더 높은 청소화 정확도와 강건 정확도를 달성한다.

ABSTRACT

In Federated Learning (FL), models are as fragile as centrally trained models against adversarial examples. However, the adversarial robustness of federated learning remains largely unexplored. This paper casts light on the challenge of adversarial robustness of federated learning. To facilitate a better understanding of the adversarial vulnerability of the existing FL methods, we conduct comprehensive robustness evaluations on various attacks and adversarial training methods. Moreover, we reveal the negative impacts induced by directly adopting adversarial training in FL, which seriously hurts the test accuracy, especially in non-IID settings. In this work, we propose a novel algorithm called Decision Boundary based Federated Adversarial Training (DBFAT), which consists of two components (local re-weighting and global regularization) to improve both accuracy and robustness of FL systems. Extensive experiments on multiple datasets demonstrate that DBFAT consistently outperforms other baselines under both IID and non-IID settings.

연구 동기 및 목표

• 비-IID 데이터 분포 하에서 청소화 정확도와 강건성 간의 상충 관계를 고려한 페더레이티드 러닝 시스템의 적대적 강건성에 대해 조사한다.
• 표준 적대적 훈련이 페더레이티드 러닝에서 청소화 정확도를 심각하게 떨어뜨리는 부정적인 영향, 특히 비-IID 설정에서의 영향을 규명한다.
• 청소화 정확도와 강건성을 동시에 향상시키되, 어느 한 쪽도 희생시키지 않는 새로운 페더레이티드 적대적 훈련 방법을 개발한다.

제안 방법

• 클라이언트 업데이트 중에 로컬 재가중치를 적용하여 결정 경계 근처의 샘플에 더 높은 가중치를 할당함으로써 로컬 강건성을 향상시킨다.
• 집계된 글로벌 모델의 로짓을 사용한 글로벌 정규화 항을 적용하여 훈련을 안정화시키고 클라이언트 간의 청소화 정확도를 향상시킨다.
• 교차 엔트로피 손실에 적대적 예제를 결합하고 결정 경계 인식 정규화 성분을 추가한 하이브리드 손실 함수를 사용한다.
• 두 단계 훈련 프로세스를 적용한다: 로컬 적대적 훈련에 재가중치를 적용한 후, 정규화를 통한 글로벌 모델 집계를 수행한다.
• 글로벌 모델의 로짓을 지식 정착 신호로 간주하여 로컬 모델이 더 나은 일반화를 향해 유도한다.
• 청소화 정확도와 강건성 간의 균형을 조절하기 위해 하이퍼파rameter $eta$를 통해 정규화 강도를 최적화한다.

실험 결과

연구 질문

• RQ1 왜 페더레이티드 러닝에서 표준 적대적 훈련이 비-IID 데이터 분포 하에서 청소화 정확도를 크게 떨어뜨리는가?
• RQ2 청소화 정확도를 희생시키지 않고 어떻게 페더레이티드 러닝의 적대적 강건성을 향상시킬 수 있는가?
• RQ3 결정 경계는 페더레이티드 적대적 훈련에서 성능 저하에 어떤 역할을 하는가?
• RQ4 로컬 재가중치와 글로벌 정규화가 함께 작용할 때 페더레이티드 러닝에서 강건성과 정확도를 동시에 향상시킬 수 있는가?
• RQ5 다양한 데이터셋과 데이터 분포 설정 하에서 제안된 방법은 최신 기준 페더레이티드 적대적 훈련 기준 성능과 어떻게 비교되는가?

주요 결과

• DBFAT는 비-IID CIFAR10에서 52.16%의 청소화 정확도와 평균 27.80%의 강건 정확도를 달성하여 모든 기준 성능을 초월한다.
• ImageNet-12에서 DBFAT는 AutoAttack 하에 61.38%의 청소화 정확도와 22.08%의 강건 정확도를 기록했으며, 테스트된 모든 방법 중에서 가장 높은 성능을 보였다.
• 절단 실험 결과, 재가중치 전략을 제거할 경우 CIFAR10에서 청소화 정확도가 3.72% 감소함을 확인하여, 이 전략이 데이터 불균형 완화에 핵심적인 역할을 한다는 것을 입증했다.
• MNIST에서 $eta=1.5$ 정규화 항을 적용한 결과 53.22%의 평균 강건 정확도를 기록하여 정확도와 강건성 간 최적의 균형을 달성함을 보였다.
• 훈련 곡선 분석 결과, DBFAT는 PGD_AT와 달리 전체 훈련 과정 동안 높은 청소화 정확도를 유지하는 것으로 나타났으며, 이는 일반화 능력이 뛰어남을 시사한다.
• FMNIST에서 DBFAT는 75.89%의 청소화 정확도와 평균 59.63%의 강건 정확도를 기록했으며, 재가중치 또는 정규화 없이 훈련된 방법들보다 뚜렷이 뛰어난 성능을 보였다.