[논문 리뷰] End-to-End Learning of Proactive Handover Policy for Camera-Assisted mmWave Networks Using Deep Reinforcement Learning.

Yusuke Koda, Kota Nakashima외 3명|arXiv (Cornell University)|2019. 04. 09.

Millimeter-Wave Propagation and Modeling참고 문헌 2인용 수 5

한 줄 요약

이 논문은 카메라 이미지를 직접 수동 핸드오버 결정으로 매핑하는 엔드 투 엔드 딥 강화학습 프레임워크를 제안한다. 이는 장애물에 의한 신호 급격한 약화가 발생하기 이르기 전에 사전에 핸드오버를 수행함으로써 mmWave 네트워크에서의 수동 핸드오버를 가능하게 한다. 이 방법은 시각적 인식을 활용하여 더 빠르고 확장성 있는 장애물 인식 핸드오버 결정을 가능하게 하여 전력 기반 접근 방식을 능가한다.

ABSTRACT

For mmWave networks, this paper proposes an image-to-decision proactive handover framework, which directly maps camera images to a handover decision. With the help of camera images, the proposed framework enables a proactive handover, i.e., a handover is triggered before a temporal variation in the received power induced by obstacles even if the variation is extremely rapid such that it cannot be predicted from a time series of received power. Furthermore, direct mapping allows scalability for the number of obstacles. This paper shows that optimal mapping is learned via deep reinforcement learning (RL) by proving that the decision process in our proposed framework is a Markov decision process. While performing deep RL, this paper designs a neural network (NN) architecture for a network controller to successfully learn the use of lower-dimensional observations in state information and higher-dimensional image observations. The evaluations based on experimentally obtained camera images and received powers indicate that the learned handover policy in the proposed framework outperforms the learned policy in a received power-based handover framework.

연구 동기 및 목표

• 이동하는 장애물로 인한 급격하고 예측 불가능한 신호 차단 문제를 해결한다.
• 신호 품질 악화가 발생하기 전에 수동 핸드오버를 가능하게 하여 반응형 전력 기반 방법의 한계를 극복한다.
• 시각적 관측값(카메라 이미지)을 직접 핸드오버 결정으로 매핑하는 확장 가능한 솔루션을 개발한다.
• 의사결정 과정이 딥 강화학습을 가능하게 하기 위해 마르코프 결정 과정(MDP)으로 모델링될 수 있음을 입증한다.
• 기존 전력 기반 학습 프레임워크에 비해 향상된 핸드오버 성능을 달성한다.

제안 방법

• 핸드오버 의사결정 과정을 마르코프 결정 과정(MDP)으로 공식화하여 딥 강화학습(DRL)의 사용을 가능하게 한다.
• 저차원 신호 세기 데이터와 고차원 카메라 이미지를 모두 처리할 수 있는 하이브리드 신경망 아키텍처를 설계한다.
• 엔드 투 엔드 학습을 통해 카메라 이미지를 직접 최적의 핸드오버 동작으로 매핑하는 DRL 에이전트를 훈련시킨다.
• 훈련 중에 실제 네트워크 조건을 시뮬레이션하기 위해 실험적 카메라 이미지와 수신 전력 트레이스를 활용한다.
• 시각적 인식을 통합하여 장애물의 이동을 탐지하고, 신호 품질에 영향을 주기 전에 차단 이벤트를 예측한다.
• 동적인 실시간 환경에서 탐색과 이용의 균형을 이루기 위해 정책 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 카메라 이미지가 신호 품질 악화가 발생하기 이르기 전에 mmWave 네트워크에서 수동 핸드오버를 효과적으로 가능하게 할 수 있는가?
• RQ2 카메라 보조 시스템에서 핸드오버 의사결정 과정이 마르코프 결정 과정(MDP)으로 모델링 가능한가?
• RQ3 딥 강화학습을 통한 직접적인 이미지-의사결정 매핑이 기존 전력 기반 핸드오버 정책보다 우월한가?
• RQ4 기존 방법에 비해 장애물 수가 증가함에 따라 제안된 프레임워크는 어떻게 확장 가능한가?
• RQ5 네트워크 컨트롤러는 신호 세기 데이터와 통합하면서도 관련 시각적 특징을 우선순위로 설정할 수 있는가?

주요 결과

• 제안된 프레임워크는 딥 강화학습을 사용하여 신호 품질 악화가 발생하기 이르기 전에 수동 핸드오버 정책을 성공적으로 학습한다.
• 의사결정 과정이 공식적으로 마르코프 결정 과정(MDP)임을 증명하여, 이 작업에 강화학습의 사용이 타당함을 입증한다.
• 하이브리드 신경망은 저차원 신호 데이터와 고차원 이미지 관측값을 효과적으로 융합하여 의사결정 능력을 향상시킨다.
• 실제 실험 데이터를 활용한 평가 결과, 제안된 방법은 핸드오버 효과성 측면에서 전력 기반 핸드오버 정책을 능가한다.
• 기존 방법이 신호 이력에 제한되는 것과 달리, 직접적인 시각적 인식 덕분에 다수의 장애물을 처리하는 데 있어 확장성을 입증한다.
• 학습된 정책은 신호 변화가 전력 트레이스만으로는 너무 빨리 감지되지 않을 수 있는 상황에서도 시각적 신호를 통해 블라인드를 예측함으로써 더 이르고 신뢰할 수 있는 핸드오버 트리거를 달성한다.