[논문 리뷰] Applications of Deep Reinforcement Learning in Communications and Networking: A Survey

Nguyen Cong Luong, Dinh Thai Hoang외 5명|arXiv (Cornell University)|2018. 10. 18.

Software-Defined Networks and 5G참고 문헌 139인용 수 16

한 줄 요약

이 종합 검토는 통신 및 네트워킹 분야에서 딥 강화학습(DRL)의 응용을 포괄적으로 다루며, 동적 스펙트럼 접근, 데이터 전송률 제어, 캐싱, 오프로딩, 보안, 라우팅을 포함한다. DRL은 고차원 상태 공간과 행동 공간을 처리하기 위해 딥 신경망을 활용함으로써 5G 및 그 이상의 대규모 불확실한 네트워크에서 자율적이고 확장 가능하며 적응 가능한 의사결정을 가능하게 한다.

ABSTRACT

This paper presents a comprehensive literature review on applications of deep reinforcement learning in communications and networking. Modern networks, e.g., Internet of Things (IoT) and Unmanned Aerial Vehicle (UAV) networks, become more decentralized and autonomous. In such networks, network entities need to make decisions locally to maximize the network performance under uncertainty of network environment. Reinforcement learning has been efficiently used to enable the network entities to obtain the optimal policy including, e.g., decisions or actions, given their states when the state and action spaces are small. However, in complex and large-scale networks, the state and action spaces are usually large, and the reinforcement learning may not be able to find the optimal policy in reasonable time. Therefore, deep reinforcement learning, a combination of reinforcement learning with deep learning, has been developed to overcome the shortcomings. In this survey, we first give a tutorial of deep reinforcement learning from fundamental concepts to advanced models. Then, we review deep reinforcement learning approaches proposed to address emerging issues in communications and networking. The issues include dynamic network access, data rate control, wireless caching, data offloading, network security, and connectivity preservation which are all important to next generation networks such as 5G and beyond. Furthermore, we present applications of deep reinforcement learning for traffic routing, resource sharing, and data collection. Finally, we highlight important challenges, open issues, and future research directions of applying deep reinforcement learning.

연구 동기 및 목표

• 고차원 상태 공간과 행동 공간을 가진 대규모 복잡한 네트워크에서 전통적 강화학습의 한계를 해결하기 위해.
• IoT, UAV, 헤테로제너릭 네트워크(HetNets)와 같은 현대 네트워크에서 딥 강화학습(DRL)이 자율적이고 분산된 의사결정을 어떻게 가능하게 하는지 검토하기 위해.
• 동적 스펙트럼 접근, 데이터 전송률 제어, 무선 캐싱, 데이터 오프로딩, 보안, 연결성 유지와 같은 핵심 네트워킹 문제에 대한 DRL 응용을 분석하기 위해.
• 다음 세대 통신 시스템에 DRL을 적용할 때의 열린 과제와 향후 연구 방향을 규명하기 위해.

제안 방법

• 강화학습, 딥 러닝, 딥 강화학습의 기본 개념을 검토하며, DQN, 듀얼 DQN, 프록시멀 정책 최적화를 포함한다.
• 특정 네트워킹 문제에 적용된 DRL 기법을 분류하며, 불확실성 하에서의 의사결정을 위한 마르코프 결정 과정(MDPs)을 포함한다.
• 고차원 상태 공간을 처리하기 위해 딥 신경망을 사용하는 Q-러닝을 활용한 동적 스펙트럼 접근을 위한 DRL 기반 솔루션을 분석한다.
• 사전 채널 모델 없이 사용자 이동성 및 트래픽 패턴을 학습함으로써 데이터 오프로딩 및 캐싱 최적화에 DRL을 적용한다.
• 동적 인centive와 사용자 행동을 모델링함으로써 경매 및 커뮤니티 센싱 환경에서 안전하고 효율적인 자원 할당을 위한 DRL을 사용한다.
• 저복잡도 수신 전력 측정값을 채널 추정 입력으로 활용함으로써 무선 전력 전송 및 센서 네트워크에서 DRL을 평가한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 대규모 동적 네트워크에서 전통적 강화학습의 확장성 한계를 어떻게 극복할 수 있는가?
• RQ2 불확실성 하에서 통신 및 네트워킹 분야에서 효과적인 의사결정을 가능하게 하는 주요 DRL 아키텍처와 알고리즘은 무엇인가?
• RQ3 DRL은 스펙트럼 접근, 데이터 오프로딩, 캐싱과 같은 핵심 네트워킹 기능을 최적화하는 데 어떻게 적용될 수 있는가?
• RQ4 DRL은 정보 교환을 최소화하면서 IoT 및 UAV 네트워크에서 자율적이고 분산된 운영을 어떻게 지원하는가?
• RQ5 5G 및 그 이상 네트워크에 DRL을 구현할 때의 열린 과제와 향후 연구 방향은 무엇인가?

주요 결과

• 전통적 강화학습이 계산적으로 비가역성이 발생하는 바람에 실패하는 고차원 상태 공간과 행동 공간을 가진 대규모 네트워크에서 DRL은 효율적인 학습과 정책 최적화를 가능하게 한다.
• 완전한 채널 상태 정보가 필요 없이 실시간 네트워크 피드백에서 학습함으로써 DRL 기반 접근 방식은 동적 스펙트럼 접근과 데이터 오프로딩에서 거의 최적의 성능를 달성한다.
• 무선 전력 전송 및 센서 네트워크에서는 DRL이 수신 전력 측정값만을 사용하여 저복잡도 채널 추정을 가능하게 하여 센서 노드의 에너지 소비를 줄인다.
• DRL은 동적 암호화폐 가치와 사용자 행동을 모델링함으로써 이동형 커뮤니티 센싱 및 블록체인 기반 무선 네트워크에서 안전하고 효율적인 인centive 메커니즘을 지원한다.
• 시간에 따라 변화하는 네트워크 조건과 사용자 이동 패턴에 적응함으로써 DRL은 트래픽 라우팅 및 자원 공유에서 전통적 방법보다 뛰어난 성능을 발휘한다.
• 강력한 성능에도 불구하고 샘플 효율성, 일반화 능력 및 실시간 구현 측면에서 여전히 도전 과제가 있으며, 특히 매우 동적이고 이질적인 네트워크에서는 더욱 그렇다.