[논문 리뷰] Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee

Flint Xiaofeng Fan, Yining Ma외 4명|arXiv (Cornell University)|2021. 10. 26.

Privacy-Preserving Technologies in Data인용 수 16

한 줄 요약

이 논문은 임의의 시스템 장애나 악성 공격(비잔티노스 결함) 상황에서도 수렴을 보장하는 장애 내성 페더레이티드 강화학습 프레임워크인 FedPG-BR를 제안한다. 더 많은 에이전트가 참여할수록 샘플 효율성이 향상되며, 분산된 정책 그래디언트 최적화와 그래디언트 기반 비잔티노스 필터를 결합하여 $O(1/\epsilon^{5/3})$의 샘플 복잡도를 달성한다. 이때 반으로 초과하지 않는 에이전트가 고장 났을 경우 추가적인 $O(\alpha^{4/3}/\epsilon^{5/3})$ 페널티가 발생한다.

ABSTRACT

The growing literature of Federated Learning (FL) has recently inspired Federated Reinforcement Learning (FRL) to encourage multiple agents to federatively build a better decision-making policy without sharing raw trajectories. Despite its promising applications, existing works on FRL fail to I) provide theoretical analysis on its convergence, and II) account for random system failures and adversarial attacks. Towards this end, we propose the first FRL framework the convergence of which is guaranteed and tolerant to less than half of the participating agents being random system failures or adversarial attackers. We prove that the sample efficiency of the proposed framework is guaranteed to improve with the number of agents and is able to account for such potential failures or attacks. All theoretical results are empirically verified on various RL benchmark tasks.

연구 동기 및 목표

• 기존 페더레이티드 강화학습(FRL) 프레임워크에서 이론적 수렴 보장의 부족을 해결한다.
• 랜덤 시스템 장애와 악성 공격을 비잔티노스 결함으로 모델링하여 FRL이 이러한 상황에서도 강건성을 유지할 수 있도록 한다.
• 고장 난 조건에서도 참여하는 에이전트 수가 증가할수록 샘플 효율성이 향상됨을 보장한다.
• 고분산된 그래디언트 추정과 비오마니아크 공격에 강건한 실용적인 FRL 시스템을 개발한다.
• 현실적인 장애 모델 하에서 장애 내성과 수렴에 대한 이론적 분석과 실증적 검증을 제공한다.

제안 방법

• 스토하스틱 분산된 분산 최적화(스토하스틱 SCSG)를 페더레이티드 정책 그래디언트 프레임워크에 통합하여 그래디언트 추정의 분산을 감소시킨다.
• 고장 났거나 악성인 에이전트의 영향을 식별하고 완화하는 그래디언트 기반 비잔티노스 필터를 설계한다.
• 글로벌 정책 업데이트 단계에 필터를 적용하여, 최대 절반 이하의 에이전트가 비잔티노스일 경우에도 수렴을 보장한다.
• 이론적 분석을 통해 샘플 복잡도가 $O(1/\epsilon^{5/3})$로 수렴하는 $\epsilon$-정류점에 도달함을 보여준다.
• K명의 에이전트가 참여할 경우 샘플 복잡도는 $O(1/K^{2/3})$로 향상되며, 비잔티노스 에이전트의 영향은 $O(\alpha^{4/3}/\epsilon^{5/3})$로 제한된다.
• 다양한 실패 유형과 공격 상황에서 벤치마크 RL 환경(CartPole, LunarLander, HalfCheetah)에서 프레임워크를 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 최대 절반 이하의 에이전트가 고장 났거나 악성일 경우, 페더레이티드 강화학습 시스템이 수렴성과 샘플 효율성을 유지할 수 있는가?
• RQ2 분산된 정책 그래디언트 최적화의 통합이 FRL의 수렴 속도와 강건성에 어떤 영향을 미치는가?
• RQ3 비오마니아크 공격(예: 분산 공격)에 대해 그래디언트 기반 비잔티노스 필터가 얼마나 효과적으로 영향을 완화할 수 있는가?
• RQ4 비잔티노스 조건 하에서도 참여하는 에이전트 수가 증가할수록 FRL의 샘플 복잡도가 향상되는가?
• RQ5 제안된 프레임워크의 이론적 수렴 보장이 다양한 RL 벤치마크 작업에서 실증적으로 검증될 수 있는가?

주요 결과

• 제안된 FedPG-BR 프레임워크는 단일 에이전트 환경에서 $O(1/\epsilon^{5/3})$의 샘플 복잡도로 $\epsilon$-정류점에 수렴함을 달성하였으며, 최신 분산된 정책 그래디언트 방법과 동일한 성능을 보였다.
• K명의 에이전트가 참여할 경우 샘플 복잡도는 $O(1/K^{2/3})$의 비율로 향상되며, 더 많은 에이전트가 샘플 효율성을 높임을 증명하였다.
• 반으로 초과하지 않는 에이전트가 비잔티노스일 경우(즉, $\alpha < 0.5$), 수렴은 오직 $O(\alpha^{4/3}/\epsilon^{5/3})$의 덧셈 항으로만 악화되며, $\alpha \to 0$일 때 이 항은 사라진다.
• 실증 결과로, 10명의 에이전트 중 3명이 고장 났거나 악성 공격(난수 노이즈 또는 분산 공격)을 가한 경우 FedPG-BR는 단일 에이전트 학습보다 우수하며, 10명의 순수한 에이전트로 구성된 페더레이션과 거의 동일한 성능을 보였다.
• 프레임워크는 분산 공격에 효과적으로 대응하여, 비악성 기준 성능과 거의 유사한 성능을 유지하였으며, 그래디언트 이탈에 대한 이론적 경계가 검증됨을 입증하였다.
• 다양한 환경(CartPole, LunarLander, HalfCheetah)에서 일관된 성능을 보이며, 다양한 실패 및 공격 모델 하에서도 강건함을 입증하였다.