[논문 리뷰] Adversarial training in communication constrained federated learning

Devansh Shah, Parijat Dube외 2명|arXiv (Cornell University)|2021. 03. 01.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 16

한 줄 요약

이 논문은 통신 제약 조건과 비정규 분포(non-iid) 데이터를 고려한 분산 학습 환경에서 모델 드리프트를 줄이고 수렴 속도를 향상시키기 위해 동적 로컬 학습 스케줄을 사용하는 새로운 분산 적대적 훈련 알고리즘 FedDynAT을 제안한다. FedAvgAT과 같은 기준 방법들보다 자연스러운 정확도와 적대적 정확도를 크게 향상시키며, 로컬 모델 간의 분산을 최소화함으로써 수렴 시간을 단축시킨다.

ABSTRACT

Federated learning enables model training over a distributed corpus of agent data. However, the trained model is vulnerable to adversarial examples, designed to elicit misclassification. We study the feasibility of using adversarial training (AT) in the federated learning setting. Furthermore, we do so assuming a fixed communication budget and non-iid data distribution between participating agents. We observe a significant drop in both natural and adversarial accuracies when AT is used in the federated setting as opposed to centralized training. We attribute this to the number of epochs of AT performed locally at the agents, which in turn effects (i) drift between local models; and (ii) convergence time (measured in number of communication rounds). Towards this end, we propose FedDynAT, a novel algorithm for performing AT in federated setting. Through extensive experimentation we show that FedDynAT significantly improves both natural and adversarial accuracy, as well as model convergence time by reducing the model drift.

연구 동기 및 목표

• 통신 제약 조건과 비정규 분포 데이터 분포 하에서 적대적 훈련(AT)을 분산 학습에 적용할 때 발생하는 과제를 탐구하는 것.
• 분산 적대적 훈련에서 과도한 로컬 에포크 수(E)가 모델 드리프트 증가와 수렴 속도 저하를 유발함을 규명하는 것.
• 분산 적대적 훈련에서 모델 드리프트를 완화하고 수렴 속도를 가속화하는 새로운 알고리즘을 설계하는 것.
• 자연스러운 정확도, 적대적 정확도, 클라이언트 간 모델 유사도 측면에서 최신 분산 학습 방법들과 비교하여 FedDynAT의 성능을 평가하는 것.

제안 방법

• FedDynAT은 시간이 지남에 따라 로컬 에포크 수(E)를 줄이는 동적 로컬 학습 스케줄(E-스케줄)을 도입하며, 초기값 E₀ = 50에서 출발하고 감쇠 인자 γ = 0.5를 사용해 감소시킨다.
• 알고리즘은 E(t) = max(E₀ * γ^t, F_E)로 정의된 동적 E-스케줄을 사용하며, F_E는 최소 임계값(예: F_E = 5)으로, 통신 라운드가 진행됨에 따라 로컬 학습을 점차 줄인다.
• FedDyn은 글로벌 모델에 가까운 로컬 모델을 유지하기 위해 정규화하는 방법으로, 이를 적대적 훈련과 통합하여 AT 중 모델 드리프트를 감소시킨다.
• 알고리즘은 PGD 기반의 적대적 예제 생성과 SGD 기반의 모델 업데이트를 사용해 클라이언트에서 로컬적으로 적대적 훈련을 수행한 후, 가중 평균을 통한 모델 집합을 수행한다.
• 모델 드리프트는 레이어별로 클라이언트 모델 간 유사도를 측정하는 SVCCA(채널별 상관계수 분석을 통한 특징 유사도)를 사용해 정량화한다.
• 알고리즘은 NIN 등의 모델을 사용해 CIFAR-10 및 기타 데이터셋에서 FedAvgAT, FedCurvAT, FedAvg와의 비교를 통해 평가된다.

실험 결과

연구 질문

• RQ1 중앙집중적 훈련과 비교해 통신 제약 조건과 비정규 분포 데이터 하에서 분산 학습 환경에서의 적대적 훈련 성능은 어떻게 되는가?
• RQ2 분산 적대적 훈련에서 자연스러운 정확도와 적대적 정확도가 감소하는 원인은 무엇인가?
• RQ3 로컬 학습 에포크 수(E)가 분산 AT에서 모델 드리프트와 수렴 시간에 미치는 영향은 무엇인가?
• RQ4 동적 로컬 학습 스케줄이 분산 적대적 훈련에서 모델 드리프트를 줄이고 수렴 속도를 향상시킬 수 있는가?
• RQ5 FedDynAT은 자연스러운 정확도, 모델 유사도, 수렴 시간 측면에서 FedAvgAT 및 FedCurvAT과 비교해 어떻게 성능을 내는가?

주요 결과

• SVCCA 점수를 통해 클라이언트 모델 간의 높은 유사도를 보이며, FedDynAT은 FedAvgAT 및 FedCurvAT에 비해 모델 드리프트를 크게 감소시킴을 확인했다.
• E=50일 경우, FedAvgAT는 자연 훈련(FedAvg)보다도 더 높은 모델 드리프트를 보였으며, 특히 깊은 레이어(5–8)에서 두드러졌다. 이는 적대적 훈련이 드리프트를 악화시킨다는 것을 시사한다.
• 비정규 분포 데이터를 가진 CIFAR-10에서 FedDynAT은 FedAvgAT 및 FedCurvAT보다 높은 자연스러운 정확도와 적대적 정확도를 달성하여 내성성 향상을 입증했다.
• FedDynAT의 동적 E-스케줄은 라운드가 진행됨에 따라 로컬 에포크 수를 줄여 수렴 시간을 단축시키고, 빠른 모델 정렬을 이끌어냈다.
• SVCCA 분석 결과, 출력에 가까운 레이어(높은 레이어)에서 드리프트가 더 두드러지게 나타나는 것을 확인했으며, 이는 FedDynAT에 의해 효과적으로 완화됨을 입증했다.
• FedCurvAT가 고정된 E=50을 사용함에도 불구하고, FedDynAT은 정확도와 수렴 속도 측면에서 FedCurvAT 및 FedAvgAT를 모두 능가했다.