[논문 리뷰] Handover Control in Wireless Systems via Asynchronous Multi-User Deep Reinforcement Learning

Zhi Wang, Lihua Li외 3명|arXiv (Cornell University)|2018. 01. 06.

IPv6, Mobility, Handover, Networks, Security참고 문헌 24인용 수 12

한 줄 요약

이 논문은 이질적인 사용자 이동성과 함께 대규모 무선 네트워크에서 핸드오버(HO) 제어를 최적화하기 위해 이중 레이어 비동기식 다중 사용자 딥 강화학습 프레임워크를 제안한다. 사용자 이동 패턴 기반으로 사용자를 군집화하고, 각 군집에 대해 글로벌 파라미터 서버를 운영함으로써 학습 속도를 향상시키고 핸드오버 빈도를 감소시키면서도 높은 Throughput를 유지하며, 최신의 온라인 기법과 전통적인 3GPP 방법을 능가한다.

ABSTRACT

In this paper, we propose a two-layer framework to learn the optimal handover (HO) controllers in possibly large-scale wireless systems supporting mobile Internet-of-Things (IoT) users or traditional cellular users, where the user mobility patterns could be heterogeneous. In particular, our proposed framework first partitions the user equipments (UEs) with different mobility patterns into clusters, where the mobility patterns are similar in the same cluster. Then, within each cluster, an asynchronous multi-user deep reinforcement learning scheme is developed to control the HO processes across the UEs in each cluster, in the goal of lowering the HO rate while ensuring certain system throughput. In this scheme, we use a deep neural network (DNN) as an HO controller learned by each UE via reinforcement learning in a collaborative fashion. Moreover, we use supervised learning in initializing the DNN controller before the execution of reinforcement learning to exploit what we already know with traditional HO schemes and to mitigate the negative effects of random exploration at the initial stage. Furthermore, we show that the adopted global-parameter-based asynchronous framework enables us to train faster with more UEs, which could nicely address the scalability issue to support large systems. Finally, simulation results demonstrate that the proposed framework can achieve better performance than the state-of-art on-line schemes, in terms of HO rates.

연구 동기 및 목표

• 기존 매크로셀 기반의 정적 핸드오버 파라미터로 인해 초고밀도 네트워크(UDNs)에서 빈번한 핸드오버 문제가 발생하는 문제를 해결하기 위해.
• 네트워크 동역학(예: UE 이동 경로 또는 채널 모델 등)에 대한 사전 지식이 필요 없는 확장 가능한 모델리스 학습 접근법을 개발하기 위해.
• 대규모 이질적 이동성 환경에서 높은 시스템 Throughput를 유지하면서 핸드오버 빈도를 감소시키기 위해.
• 딥 네트워크(DNN) 초기화를 위한 지도 학습과 사용자 기지국(UE) 간 비동기적 파라미터 업데이트를 활용하여 학습 속도를 가속화하고 샘플 효율성을 향상시키기 위해.

제안 방법

• 프레임워크는 유사한 이동 패턴을 가진 사용자 기지국(UEs)을 기반으로 군집화하여 유사한 핸드오버 행동을 보이는 UE들을 그룹화한다.
• 각 군집 내에서 이중 비동기적 이점 액터-크리틱(A3C) 강화학습 기법을 사용하며, UE들은 중앙 파라미터 서버를 통해 공유되는 글로벌 DNN 정책을 비동기적으로 업데이트한다.
• 딥 Q-네트워크(DQN) 추정기로 핸드오버 제어기를 사용하며, 기존 핸드오버 기법에서 유도된 지도 학습을 통해 초기화하여 초기 탐색의 비효율성을 줄인다.
• 글로벌 파라미터 서버는 다수의 UE로부터 온 기울기를 집계하여, UE 수가 증가함에 따라 수렴 속도 향상과 확장성 향상을 가능하게 한다.
• 학습 중에 상태가치 함수 추정과 상한 신뢰도(Upper Confidence Bound, UCB) 원칙에 기반한 행동 선택을 통해 탐색과 이용의 균형을 확보한다.
• 프레임워크는 온라인 및 오프라인 추론 모두를 지원하며, 새로 도착한 UE들이 파라미터 서버에서 사전 학습된 모델을 활용해 즉각 양호한 성능을 달성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비동기식 다중 사용자 딥 강화학습 프레임워크는 대규모 이질적 이동성 환경에서 핸드오버 빈도를 효과적으로 감소시킬 수 있는가?
• RQ2 이동 패턴 기반의 UE 군집화가 핸드오버 제어 정책의 확장성과 학습 효율성에 어떤 영향을 미치는가?
• RQ3 지도 학습 기반 초기화가 핸드오버 제어에서 딥 강화학습의 샘플 효율성과 성능을 얼마나 향상시킬 수 있는가?
• RQ4 글로벌 파라미터 서버 아키텍처는 UE 수가 증가함에 따라 수렴 속도 향상과 더 나은 확장성을 제공하는가?
• RQ5 제안된 방법은 핸드오버 빈도와 시스템 Throughput 측면에서 최신 온라인 기법과 전통적인 3GPP 기반 핸드오버 기법과 비교해 어떻게 성능을 냅니다?

주요 결과

• 모의 실험 결과, 제안된 프레임워크는 3GPP 방법 대비 최대 80%까지 핸드오버 빈도를 감소시키며 시스템 Throughput도 향상시켰다.
• 각 군집에 대해 글로벌 파라미터 서버를 도입한 군집화 기법은 학습 속도를 가속화하고 성능을 향상시키며, 상태가치 함수 추정의 수렴 속도 향상을 통해 이를 뒷받침한다.
• DQN 추정기의 초기화에 지도 학습을 활용함으로써 초기 학습 단계에서 무작위 탐색의 부정적 영향을 크게 줄였다.
• 비동기 A3C 프레임워크는 UE 수가 증가함에 따라 잘 스케일링되며, 지연 요소가 UE 수에 대해 비선형적으로 증가함에 따라 대규모 배포에 적합하다.
• 동일한 학습 시간 동안 UCB 기반 온라인 학습 기반선 대비 핸드오버 빈도와 Throughput 측면에서 모두 뛰어난 샘플 효율성을 입증하였다.
• 프레임워크를 통해 새로 도착한 UE들은 파라미터 서버에서 사전 학습된 모델을 활용해 초기에 양호한 성능을 즉각 달성할 수 있으며, 열악한 초기 정책을 피할 수 있다.