[논문 리뷰] Federated Adversarial Learning: A Framework with Convergence Analysis

Xiaoxiao Li, Zhao Song외 1명|arXiv (Cornell University)|2022. 08. 07.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 피드포워드 적대적 학습(Federated Adversarial Learning, FAL)이라는 새로운 프레임워크를 제안한다. 이 프레임워크는 적대적 샘플 생성을 위해 클라이언트 측에서 내부 루프를 활용하고, 로컬 모델 업데이트를 위한 외부 루프를 거친 후 FedAvg 평균화를 통해 글로벌 모델을 업데이트함으로써 피드포워드 학습에 적대적 훈련을 통합한다. 저자들은 비독립 동일 분포가 아닌(non-IID) 데이터와 과다 파rameter화된 두 층의 ReLU 네트워크 조건 하에서, $\epsilon$-최적의 강건한 손실로의 수렴을 이론적으로 확립한다. 이는 다중 로컬 업데이트 및 기울기 근사 문제 도전 과제가 존재하더라도 성립한다.

ABSTRACT

Federated learning (FL) is a trending training paradigm to utilize decentralized training data. FL allows clients to update model parameters locally for several epochs, then share them to a global model for aggregation. This training paradigm with multi-local step updating before aggregation exposes unique vulnerabilities to adversarial attacks. Adversarial training is a popular and effective method to improve the robustness of networks against adversaries. In this work, we formulate a general form of federated adversarial learning (FAL) that is adapted from adversarial learning in the centralized setting. On the client side of FL training, FAL has an inner loop to generate adversarial samples for adversarial training and an outer loop to update local model parameters. On the server side, FAL aggregates local model updates and broadcast the aggregated model. We design a global robust training loss and formulate FAL training as a min-max optimization problem. Unlike the convergence analysis in classical centralized training that relies on the gradient direction, it is significantly harder to analyze the convergence in FAL for three reasons: 1) the complexity of min-max optimization, 2) model not updating in the gradient direction due to the multi-local updates on the client-side before aggregation and 3) inter-client heterogeneity. We address these challenges by using appropriate gradient approximation and coupling techniques and present the convergence analysis in the over-parameterized regime. Our main result theoretically shows that the minimum loss under our algorithm can converge to $ε$ small with chosen learning rate and communication rounds. It is noteworthy that our analysis is feasible for non-IID clients.

연구 동기 및 목표

• 피드포워드 학습 환경 내에서 적대적 훈련의 수렴성과 강건성에 대한 이론적 이해 부족을 메우기.
• 피드포워드 학습에서의 최소-최대 최적화, 다중 로컬 클라이언트 업데이트, 데이터 이질성 문제를 극복하기.
• 과다 파rameter화된 신경망 조건 하에서 피드포워드 적대적 훈련이 작은 강건한 손실로 수렴할 수 있음을 이론적으로 입증하기.
• 비독립 동일 분포가 아닌 클라이언트 데이터 분포에 대한 실현 가능성 확보하기 — 이는 피드포워드 학습에서 흔한 실제 도전 과제이다.
• 과다 파rameter화된 영역에서 기울기 근사 및 결합 기법을 사용한 엄밀한 수렴 분석 제공하기.

제안 방법

• 글로벌 강건한 훈련 손실 함수를 사용하는 최소-최대 최적화 문제로 FAL 수식화하기.
• 클라이언트 측에서 이중 루프 구조 구현: 내부 루프는 PGD를 사용한 적대적 샘플 생성, 외부 루프는 로컬 모델 업데이트.
• 데이터 프라이버시를 유지하기 위해 글로벌 모델 집계에 FedAvg 사용하기.
• 다중 로컬 학습 단계로 인한 기울기 방향 업데이트가 불가능한 상황을 다루기 위해 기울기 근사 기법 적용하기.
• 실제 및 근사된 글로벌 기울기 간 격차를 메우기 위해 결합 기법과 가짜 네트워크 활용하기.
• 확률적 도구와 신경망 초기화 이론을 활용하여 초기화 근처에 강건한 모델이 존재함을 증명하기.

실험 결과

연구 질문

• RQ1 과다 파rameter화된 영역에서 피드포워드 적대적 훈련이 작은 강건한 손실로 수렴할 수 있는가?
• RQ2 클라이언트 간 비독립 동일 분포가 아닌 데이터 분포 조건 하에서 FAL의 수렴 성질은 어떻게 되는가?
• RQ3 클라이언트가 집계 이전에 다수의 로컬 업데이트를 수행할 경우, 강건성과 수렴성에 대한 이론적 보장은 무엇인가?
• RQ4 최소-최대 최적화와 클라이언트 이질성 존재 조건 하에서 기울기 근사 및 결합 기법을 어떻게 활용해 수렴성을 분석할 수 있는가?
• RQ5 제한된 통신으로 FedAvg를 통해 글로벌 모델을 업데이트할 경우, 제안된 FAL 프레임워크는 강건성과 수렴성을 유지하는가?

주요 결과

• 적절한 학습률과 통신 라운드 조건 하에서, FAL 프레임워크는 높은 확률로 $\epsilon$-최적의 강건한 손실로 수렴한다.
• 이론적 분석을 통해 비독립 동일 분포가 아닌 데이터 분포 조건 하에서도 수렴이 성립함을 확인한다 — 이는 실용적 피드포워드 학습에서의 주요 과제이다.
• 수렴 결과는 네트워크 폭이 훈련 예제 수의 다항식에 비례하는 과다 파rameter화된 영역에서도 성립한다.
• 숨겨진 층의 폭이 $m$일 때, 초기화 근처에 강건한 모델이 존재함을 확률 최소 $1 - \exp(-\Omega(m^{1/3}))$로 증명하였다.
• 최소-최대 최적화의 복잡성과 다중 로컬 학습 단계로 인한 직접 기울기 업데이트의 부재를 고려한 분석을 수행하였다.
• 프레임워크는 높은 확률로 글로벌 강건한 손실 $\mathcal{L}_{\mathcal{A}^{*}}(f_{U^{*}}) \leq \epsilon$을 만족함을 보여주어, 훈련된 모델의 강건성을 검증한다.