[논문 리뷰] Federated Reinforcement Learning: Techniques, Applications, and Open Challenges

Jiaju Qi, Qihao Zhou외 2명|arXiv (Cornell University)|2021. 08. 26.

Privacy-Preserving Technologies in Data참고 문헌 120인용 수 10

한 줄 요약

이 논문은 분산 환경에서 개인정보 보호 및 협업적 의사결정을 가능하게 하는 연합 강화학습(Federated Reinforcement Learning, FRL)에 대한 종합적인 서베이를 제시한다. FRL을 데이터 및 특징 분포 특성에 기반해 수평(Federated Reinforcement Learning, HFRL) 및 수직(Vertical Federated Reinforcement Learning, VFRL) 프레임워크로 분류하고, 엣지 컴퓨팅, 통신, 제어 시스템 분야의 응용 사례를 분석하며, 통신, 개인정보 보호, 인cent라이브 메커니즘, 동적 참가자 관리 등 핵심 과제를 규명한다.

ABSTRACT

This paper presents a comprehensive survey of Federated Reinforcement Learning (FRL), an emerging and promising field in Reinforcement Learning (RL). Starting with a tutorial of Federated Learning (FL) and RL, we then focus on the introduction of FRL as a new method with great potential by leveraging the basic idea of FL to improve the performance of RL while preserving data-privacy. According to the distribution characteristics of the agents in the framework, FRL algorithms can be divided into two categories, i.e. Horizontal Federated Reinforcement Learning (HFRL) and Vertical Federated Reinforcement Learning (VFRL). We provide the detailed definitions of each category by formulas, investigate the evolution of FRL from a technical perspective, and highlight its advantages over previous RL algorithms. In addition, the existing works on FRL are summarized by application fields, including edge computing, communication, control optimization, and attack detection. Finally, we describe and discuss several key research directions that are crucial to solving the open problems within FRL.

연구 동기 및 목표

• 새로운 분야인 연합 강화학습(Federated Reinforcement Learning, FRL)에 익숙하지 않은 연구자들을 대상으로 체계적인 가이드를 제공하기 위해.
• 데이터 및 특징 분포 특성에 기반해 FRL을 수평(Federated Reinforcement Learning, HFRL) 및 수직(Vertical Federated Reinforcement Learning, VFRL) 프레임워크로 분류하고 정의하기 위해.
• 엣지 컴퓨팅, 통신 네트워크, 제어 최적화, 사이버 공격 탐지 등의 분야에서 기존 FRL 응용 사례를 요약하기 위해.
• 통신 효율성, 개인정보 보호 및 보안, 참가자 참여/퇴출 메커니즘, 인센티브 설계 등의 열린 연구 과제를 규명하고 분석하기 위해.
• 미해결 과제와 향후 FRL의 실세계 적용을 위한 잠재적 방향을 제시함으로써 향후 연구를 이끌기 위해.

제안 방법

• 에이전트 간 데이터 및 특징 분포에 기반해 FRL을 수평 연합 강화학습(HFRL)과 수직 연합 강화학습(VFRL)으로 분류한다.
• 형식적 정의와 수학적 공식화를 사용하여 HFRL 및 VFRL의 시스템 모델과 알고리즘적 프로세스를 제시한다.
• FL 구성요소(데이터, 특징, 레이블)를 RL 구성요소(환경, 상태, 행동)로 매핑함으로써 FRL과 RL의 통합을 분석한다.
• 자율주행(HFRL) 및 스마트그리드(VFRL) 분야의 사례 연구를 통해 프레임워크 간 차이점을 시각화한다.
• 에이전트 기여도 평가 및 인센티브 메커니즘 설계를 위한 프레임워크를 제안한다.
• 중앙 집중형 서버에 의존하지 않고 피어 투 피어 협업 모델을 도입하여 내성적 저항성과 에너지 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 연합학습 원칙을 어떻게 강화학습에 효과적으로 통합하여 데이터 프라이버시를 보장하면서 학습 효율성을 향상시킬 수 있는가?
• RQ2 수평 연합 강화학습(HFRL)과 수직 연합 강화학습(VFRL) 간의 주요 기술적 차이점은 무엇이며, 각각 어떤 시나리오에서 가장 적합한가?
• RQ3 FRL의 주요 응용 분야는 무엇이며, 엣지 컴퓨팅, 통신, 제어 시스템 분야에서 기존 기법들은 FRL을 어떻게 실제 문제에 적응시키는가?
• RQ4 특히 통신 오버헤드, 참가자 동적 변화(참여/퇴출), 인센티브 메커니즘 측면에서 FRL의 주요 열린 과제는 무엇인가?
• RQ5 참가자가 신뢰할 수 없거나 협력하지 않거나 악성일 경우, FRL에서 안전하고 효율적인 모델 집합을 어떻게 달성할 수 있는가?

주요 결과

• 연합 강화학습(Federated Reinforcement Learning, FRL)은 원시 데이터나 기울기 값을 공유하지 않으면서도 다중 에이전트 강화학습의 프라이버시 문제를 효과적으로 해결한다.
• HFRL은 동일한 특징 공간을 공유하지만 데이터 분포가 다른 에이전트에 적합하며, VFRL은 겹치는 샘플이 있지만 서로 다른 특징 세트를 가진 에이전트에 적용된다.
• FRL은 실제 환경의 에이전트에서 시뮬레이션 환경으로, 또는 그 반대로 지식 전달을 가능하게 하여 시뮬레이션과 현실 간 격차를 줄이는 데 기여한다.
• 기존 FRL 시스템은 일반적으로 신뢰할 수 있는 통신과 정직한 참가자를 전제로 하므로, 동적 참가자 관리 및 장애 내성에 대한 중요한 연구 격차가 존재한다.
• FRL에서는 인센티브 메커니즘이 아직 개발되지 않았으며, 협업 학습에서 에이전트 기여도를 공정하게 평가하고 보상하는 표준화된 방법이 현재 존재하지 않는다.
• 피어 투 피어 FRL 모델은 단일 장애 지점 리스크를 줄이고 에너지 효율성을 향상시키는 데 잠재력이 있으나, 모델 교환 트리거, 에이전트 선별, 수렴 보장 등에 대한 추가 연구가 필요하다.