[논문 리뷰] Context-Aware Mobility Management in HetNets: A Reinforcement Learning Approach

Meryem Simsek, Mehdi Bennis외 1명|arXiv (Cornell University)|2015. 05. 07.

Advanced MIMO Systems Optimization참고 문헌 3인용 수 6

한 줄 요약

이 논문은 속도 및 이력 데이터율 피드백를 활용하여 매크로 및 피코 기지국이 공동으로 셀 범위 확장과 사용자 equipment(UE) 스케줄링을 최적화할 수 있는 강화학습 기반의 맥락 인식 이동성 관리 프레임워크를 제안한다. 이 방법은 전통적인 방법에 비해 평균 UE Throughput을 최대 80% 향상시키고 핸드오버 실패 확률을 3배 감소시킨다.

ABSTRACT

The use of small cell deployments in heterogeneous network (HetNet) environments is expected to be a key feature of 4G networks and beyond, and essential for providing higher user throughput and cell-edge coverage. However, due to different coverage sizes of macro and pico base stations (BSs), such a paradigm shift introduces additional requirements and challenges in dense networks. Among these challenges is the handover performance of user equipment (UEs), which will be impacted especially when high velocity UEs traverse picocells. In this paper, we propose a coordination-based and context-aware mobility management (MM) procedure for small cell networks using tools from reinforcement learning. Here, macro and pico BSs jointly learn their long-term traffic loads and optimal cell range expansion, and schedule their UEs based on their velocities and historical rates (exchanged among tiers). The proposed approach is shown to not only outperform the classical MM in terms of UE throughput, but also to enable better fairness. In average, a gain of up to 80\% is achieved for UE throughput, while the handover failure probability is reduced up to a factor of three by the proposed learning based MM approaches.

연구 동기 및 목표

• 다양한 매크로 및 피코 셀 커버리지와 고속도 이동 UE로 인한 밀도 높은 HetNets에서의 비효율적 핸드오버 성능 문제를 해결한다.
• 실시간 맥락 정보인 UE 속도 및 이력 데이터율을 기반으로 이동성 파rameter를 동적으로 조정하여 시스템 Throughput과 공정성을 향상시킨다.
• 네트워크 계층 간의 협력적 학습 기반 최적화를 통해 핸드오버 실패(HOF) 및 펌핑-퐁(PP) 이벤트를 줄인다.
• 셀 범위 확장과 UE 스케줄링을 공동 최적화하여 하이퍼넷(HetNets)에서의 로드 밸런싱과 자원 효율적 이용을 가능하게 한다.

제안 방법

• 매크로 및 피코 기지국에서 이동성 관리 결정을 최적화하기 위해 다중 손잡이 밴딧(MAB) 및 만족 기반 강화학습을 활용한다.
• 계층 간에 교환되는 속도 및 이력 데이터율 정보를 활용하여 맥락 인식 스케줄링 및 셀 범위 확장(CRE) 결정을 지원한다.
• 핸드오버를 트리거하기 위해 레이어 3 필터링된 RSRP 측정값 기반의 시간-트리거(TTT) 및 핸드오버 이벤트 탐지를 구현한다.
• 장기적 트래픽 부하 추정을 적용하여 기지국이 범위 확장 편향(REB) 및 스케줄링 정책을 조정하도록 안내한다.
• 제한된 계층 간 신호 교환을 통해 매크로 및 피코 BS 간의 협력을 도모하여 충돌하는 핸드오버와 펌핑-퐁 효과를 줄인다.
• 각 기지국이 환경과의 상호작용을 통해 최적 전략을 학습하는 순차적 의사결정 과정으로 이동성 관리 문제를 모델링한다.

실험 결과

연구 질문

• RQ1 실시간 UE 속도 및 이력 데이터율 피드백를 핸드오버 결정에 통합함으로써 HetNets에서의 이동성 관리 성능는 어떻게 향상될 수 있는가?
• RQ2 강화학습 기반 접근법은 고속도 이동 환경에서 핸드오버 실패 확률과 펌핑-퐁 이벤트를 얼마나 줄일 수 있는가?
• RQ3 맥락 인식 및 학습 기반 이동성 관리의 평균 및 셀 엣지 UE Throughput에 미치는 영향은 어떠한가?
• RQ4 로드 밸런싱 및 시스템 용량 측면에서 전통적인 이동성 관리 방법과 비교해 본다면, 제안된 방법은 어떤가?

주요 결과

• 만족 기반 학습 접근법은 전통적인 이동성 관리 방법 대비 최대 80% 높은 평균 UE Throughput를 달성한다.
• MAB 기반 접근법은 전통적 방법 대비 셀 센터 UE Throughput를 124% 향상시키고 셀 엣지 UE Throughput를 39% 향상시킨다.
• 고속도 조건에서 제안된 학습 기반 방법을 사용할 경우 핸드오버 실패 확률이 최대 3배 감소한다.
• TTT = 480 ms일 경우, 제안된 방법은 전통적 MM 대비 펌핑-퐁 핸드오버 확률을 50% 감소시키며, 특히 고속도 이동 UE에서 두드러진다.
• 모든 UE 밀도 및 피코 기지국 수에서 최대 85%의 합산 데이터율 향상을 달성하였으며, 전통적 방법 대비 일관된 개선 효과를 보였다.
• 제안된 프레임워크는 매크로셀 당 피코셀 수가 증가함에 따라 높은 성능 유지를 보이며 확장성과 강건성을 입증하였다.