[논문 리뷰] A First Order Meta Stackelberg Method for Robust Federated Learning

Yunian Pan, Tao Li외 4명|arXiv (Cornell University)|2023. 06. 23.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 적대적 FL을 베이지안 스태일베르크 마르코프 게임(BSMG)으로 모델링하여 강력한 분산 학습을 위한 1차 미분 메타-스타켈베르크 학습(meta-SL) 방법을 제안한다. 새로운 메타-스타켈베르크 균형(meta-SE) 개념과 증명 가능한 효율성의 알고리즘을 도입하여, O(ε⁻²) 반복 내에 1차 ε-균형에 수렴하고, 반복당 O(ε⁻⁴)개의 샘플을 사용하며, 알려지지 않았거나 적응형 공격(예: 모델 오염 및 백도어 공격)에 대응하는 적응형 방어를 가능하게 한다.

ABSTRACT

Previous research has shown that federated learning (FL) systems are exposed to an array of security risks. Despite the proposal of several defensive strategies, they tend to be non-adaptive and specific to certain types of attacks, rendering them ineffective against unpredictable or adaptive threats. This work models adversarial federated learning as a Bayesian Stackelberg Markov game (BSMG) to capture the defender's incomplete information of various attack types. We propose meta-Stackelberg learning (meta-SL), a provably efficient meta-learning algorithm, to solve the equilibrium strategy in BSMG, leading to an adaptable FL defense. We demonstrate that meta-SL converges to the first-order $\varepsilon$-equilibrium point in $O(\varepsilon^{-2})$ gradient iterations, with $O(\varepsilon^{-4})$ samples needed per iteration, matching the state of the art. Empirical evidence indicates that our meta-Stackelberg framework performs exceptionally well against potent model poisoning and backdoor attacks of an uncertain nature.

연구 동기 및 목표

• 기존의 분산 학습 방어 기법이 알려진 공격 유형에만 특화되어 있고 비적응형이라는 한계를 해결하기 위해.
• 공격 유형에 대한 정보가 불완전한 상황에서 공격자-방어자 상호작용을 모델링하기 위해 적대적 분산 학습을 베이지안 스태일베르크 마르코프 게임(BSMG)으로 모델링하기 위해.
• 정보 비대칭 상황에서도 온라인 실행 중 전략적 적응이 가능한 메타-스타켈베르크 균형(meta-SE) 개념을 개발하기 위해.
• 최적의 수렴 및 샘플 복잡도를 갖춘 증명 가능한 효율성의 1차 미분 메타-스타켈베르크 학습(meta-SL) 알고리즘을 설계하기 위해.

제안 방법

• 정보가 불완전한 상황에서 방어자-공격자 상호작용을 모델링하기 위해 적대적 FL을 베이지안 스태일베르크 마르코프 게임(BSMG)으로 공식화하기 위해.
• 메타-스타켈베르크 균형(meta-SE)이라는 새로운 해법 개념을 도입하여 실시간 피드백을 활용한 메타정책 적응을 통한 적응형 방어를 가능하게 하기 위해.
• BSMG를 해결하기 위해 탈편향된 메타강화학습 원리를 사용하는 1차 알고리즘인 메타-스타켈베르크 학습(meta-SL)을 제안하기 위해.
• 헤시안 행렬 계산을 피하기 위해 오직 확률적 기울기만을 사용하는 완전한 1차 변형인 Reptile Meta-SL을 개발하기 위해.
• 사전 훈련 중 잠재적 공격 집합에서 일반화하기 위해 메타학습을 활용하여 온라인 실행 중 빠른 적응을 가능하게 하기 위해.
• 이중 단계 프레임워크를 사용하기 위해: 먼저 시뮬레이션된 공격에서 메타정책을 사전 훈련하고, 이후 실시간 피드백을 활용해 온라인으로 적응하기 위해.

Figure 1 : A schematic illustration of the meta-Stagberg game framework. In the pertaining stage, a simulated environment is constructed using generated data and a set of attacks sampled from the attack domain consisting of various attack strategies. The defender utilizes meta-Stackelberg learning (

실험 결과

연구 질문

• RQ1 메타학습 프레임워크는 알려지지 않았거나 적응형 공격에 대응하는 분산 학습에서 강력하고 적응형 방어를 가능하게 할 수 있는가?
• RQ2 베이지안 스태일베르크 마르코프 게임(BSMG)은 정보가 불완전한 상황에서 적대적 FL의 전략적 상호작용을 효과적으로 모델링할 수 있는가?
• RQ3 1차 미분 메타-스타켈베르크 학습 알고리즘이 BSMG 균형을 해결할 때 수렴성과 샘플 복잡도는 어떻게 되는가?
• RQ4 메타-스타켈베르크 균형(meta-SE)은 동적인 불확실한 공격 환경에서 기존의 베이지안 스태일베르크 균형을 능가할 수 있는가?
• RQ5 제안된 방법은 동시에 발생하거나 진화하는 공격(예: 동시 모델 오염 및 백도어 공격)에 대해 어떻게 성능을 발휘하는가?

주요 결과

• 메타-SL 알고리즘은 O(ε⁻²) 기울기 반복 내에 1차 ε-균형에 수렴하며, 최신 기술의 복잡도 한계와 일치한다.
• 반복당 샘플 복잡도는 O(ε⁻⁴)이며, 이는 비볼록 이중 최적화 분야의 최근 결과와 일치하는 최적의 수준이다.
• Reptile Meta-SL 변형은 헤시안 행렬 계산을 피하기 위해 오직 1차 기울기만을 사용하여 유사한 성능를 달성한다.
• 실험 결과, 강력하고 적응형 공격(예: RL 기반 공격 및 병합된 오염/백도어 위협)에 대해 뛰어난 강건성을 보였다.
• 작은 실시간 피드백 배치만으로도 온라인 실행 중 빠른 적응이 가능하여 실용적인 구현 가능성을 입증했다.
• 제안된 메타-스타켈베르크 균형(meta-SE)은 정보 비대칭을 효과적으로 다루며, 동적인 적대적 환경에서 전략적 적응을 가능하게 했다.

(a)