[논문 리뷰] Applications of Multi-Agent Reinforcement Learning in Future Internet: A Comprehensive Survey

Tianxu Li, Kun Zhu외 5명|arXiv (Cornell University)|2021. 10. 26.

Opportunistic and Delay-Tolerant Networks참고 문헌 180인용 수 13

한 줄 요약

이 논문은 향후 인터넷 기술 분야인 5G/6G, 드론 무선망(UAV), 사물인터넷(IoT), 차량 통신망 등에서 다중에이전트강화학습(MARL)의 응용을 종합적으로 조사한다. MARL이 에이전트 간 상호작용을 모델링하여 탈중앙화되고 적응 가능한 의사결정을 가능하게 하며, 협력과 경쟁을 통해 동적 환경에서 네트워크 성능을 향상시키는 방식으로, 네트워크 액세스, 전력 제어, 작업 이관, 보안 분야에서의 핵심 응용을 보여준다.

ABSTRACT

Future Internet involves several emerging technologies such as 5G and beyond 5G networks, vehicular networks, unmanned aerial vehicle (UAV) networks, and Internet of Things (IoTs). Moreover, future Internet becomes heterogeneous and decentralized with a large number of involved network entities. Each entity may need to make its local decision to improve the network performance under dynamic and uncertain network environments. Standard learning algorithms such as single-agent Reinforcement Learning (RL) or Deep Reinforcement Learning (DRL) have been recently used to enable each network entity as an agent to learn an optimal decision-making policy adaptively through interacting with the unknown environments. However, such an algorithm fails to model the cooperations or competitions among network entities, and simply treats other entities as a part of the environment that may result in the non-stationarity issue. Multi-agent Reinforcement Learning (MARL) allows each network entity to learn its optimal policy by observing not only the environments, but also other entities' policies. As a result, MARL can significantly improve the learning efficiency of the network entities, and it has been recently used to solve various issues in the emerging networks. In this paper, we thus review the applications of MARL in the emerging networks. In particular, we provide a tutorial of MARL and a comprehensive survey of applications of MARL in next generation Internet. In particular, we first introduce single-agent RL and MARL. Then, we review a number of applications of MARL to solve emerging issues in future Internet. The issues consist of network access, transmit power control, computation offloading, content caching, packet routing, trajectory design for UAV-aided networks, and network security issues.

연구 동기 및 목표

• 에이전트 간 상호작용으로 인한 비정상성(non-stationarity) 문제로 인해 단일에이전트 강화학습이 비효율적인 이질적이고 탈중앙화된 미래 네트워크 환경에서의 한계를 해결하기 위해.
• 네트워크 액세스, 전력 제어, 계산 이관, 콘텐츠 캐싱 등의 주요 향후 인터넷 영역에서 MARL 응용을 조사하기 위해.
• 에이전트 간 협력과 경쟁을 가능하게 하는 MARL 기법을 분석하여 네트워크 효율성과 안정성을 향상시키기 위해.
• 통신 오버헤드, 보상 설계, 확장성 등의 문제를 포함한 MARL 구현의 열린 도전 과제를 규명하기 위해.
• NB-IoT 스펙트럼 관리, 블록체인 인cent라이즈 테스트, 경매 기반 자원 할당 분야의 향후 연구 방향을 제안하기 위해.

제안 방법

• 향후 인터넷 분야에서의 MARL에 관한 최근 150편 이상의 논문을 응용 분야와 MARL 알고리즘 유형으로 분류하여 조사하기 위해.
• MARL 방법을 독립적 학습자, 탈중앙화 실행을 위한 중심화된 훈련(CTDE), 가치 분해 접근법으로 분류하기 위해.
• 부분 관찰 가능성과 통신 메커니즘을 통합한 MARL 프레임워크를 분석하여 탈중앙화된 의사결정을 다루기 위해.
• 협력과 경쟁의 균형을 이루기 위해 전역, 국지, 혼합 보상 전략을 평가하기 위해.
• 보안 및 경매 기반 스펙트럼 할당에서 다중에이전트 상호작용의 내쉬 균형을 모델링하기 위해 MARL을 적용하기 위해.
• 불확실성 하에서의 에이전트 의사결정을 수식화하기 위해 마르코프 결정 과정(MDPs)과 부분 관찰 가능 마르코프 결정 과정(POMDPs)을 사용하기 위해.

실험 결과

연구 질문

• RQ1 동적이고 탈중앙화된 미래 네트워크에서 네트워크 엔티티 간 협력적이고 경쟁적인 상호작용을 MARL이 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 대규모 이질적 네트워크에서 학습 안정성과 수렴성을 향상시키는 데 핵심적인 MARL 기법은 무엇인가?
• RQ3 다양한 보상 함수(Global, Local, Mixed)가 네트워크 최적화 작업에서 MARL의 성능과 공정성에 미치는 영향은 무엇인가?
• RQ4 특히 통신 오버헤드와 확장성 측면에서 실세계 향후 인터넷 시스템에 MARL를 구현할 때의 주요 과제는 무엇인가?
• RQ5 블록체인 인센티브 메커니즘 또는 스펙트럼 경매에서 MARL을 활용하여 신뢰성과 복원력을 향상시킬 수 있는 방법은 무엇인가?

주요 결과

• MARL은 단일에이전트 강화학습에서 발생하는 비정상성 문제를 줄이고, 에이전트 간 상호작용을 모델링함으로써 학습 효율성과 네트워크 성능을 크게 향상시킨다.
• 특히 중심화된 훈련과 탈중앙화된 실행(CTDE) 프레임워크를 통해 탈중앙화된 의사결정과 전역 최적화를 동시에 달성할 수 있다.
• 전역 보상과 국지 보상을 조합한 혼합 보상 설계 방식이 협력과 경쟁의 균형을 이루며 성능을 향상시켜 단일 보상 전략보다 뛰어난 성능을 발휘한다.
• MARL은 네트워크 액세스 최적화, 전송 전력 제어, 계산 이관, 드론 기반 네트워크의 궤도 계획 등에 성공적으로 적용되었다.
• 합리적인 에이전트 행동을 시뮬레이션하고 내쉬 균형을 학습함으로써 블록체인 인센티브 메커니즘의 취약점을 탐지하는 데 MARL이 기여한다.
• 향후 NB-IoT 스펙트럼 관리 및 경매 기반 스펙트럼 할당 분야에서 간섭을 줄이고 자원 활용도를 향상시키는 데 강력한 잠재력을 보이고 있다.