[논문 리뷰] DRAG: Deep Reinforcement Learning Based Base Station Activation in Heterogeneous Networks

Junhong Ye, Ying–Jun Angela Zhang|arXiv (Cornell University)|2018. 09. 06.

Advanced MIMO Systems Optimization인용 수 6

한 줄 요약

이 논문은 이질적 네트워크에서 에너지 효율적인 소형 기지국(SBS) 활성화를 위한 딥 강화학습 기반 알고리즘인 DRAG을 제안한다. SBS on/off 스케줄링 문제를 마르코프 결정 과정(MDP)으로 공식화하고, 새로운 액션 정련 기법을 갖춘 딥 디터미니스틱 정책 기반 학습(DDPG)을 사용함으로써, 표 형태의 방법에 비해 뛰어난 에너지 효율성과 확장성을 달성하며, 저장 및 계산 복잡도가 다항식 수준임을 입증한다.

ABSTRACT

Heterogeneous Network (HetNet), where Small cell Base Stations (SBSs) are densely deployed to offload traffic from macro Base Stations (BSs), is identified as a key solution to meet the unprecedented mobile traffic demand. The high density of SBSs are designed for peak traffic hours and consume an unnecessarily large amount of energy during off-peak time. In this paper, we propose a deep reinforcement-learning based SBS activation strategy that activates the optimal subset of SBSs to significantly lower the energy consumption without compromising the quality of service. In particular, we formulate the SBS on/off switching problem into a Markov Decision Process that can be solved by Actor Critic (AC) reinforcement learning methods. To avoid prohibitively high computational and storage costs of conventional tabular-based approaches, we propose to use deep neural networks to approximate the policy and value functions in the AC approach. Moreover, to expedite the training process, we adopt a Deep Deterministic Policy Gradient (DDPG) approach together with a novel action refinement scheme. Through extensive numerical simulations, we show that the proposed scheme greatly outperforms the existing methods in terms of both energy efficiency and computational efficiency. We also show that the proposed scheme can scale to large system with polynomial complexities in both storage and computation.

연구 동기 및 목표

• 이질적 네트워크(HetNets)에서 밀집 배치된 소형 기지국(SBS)의 높은 에너지 소비 문제, 특히 저조도 시간대의 문제를 해결한다.
• 기존의 기지국 수면/활성화 방법의 한계, 즉 모델 의존성, 높은 계산 비용, 낮은 확장성 문제를 해결한다.
• 대규모 시간 스케일에서 작동하며, 시스템 모델에 대한 사전 지식이 필요 없이 동적 트래픽 및 채널 조건에 적응할 수 있는 확장 가능한 데이터 기반 접근법을 개발한다.
• SBS 활성화, 전환 비용, 서비스 지연을 종합적으로 최적화하여 높은 에너지 효율성과 서비스 품질을 동시에 확보한다.

제안 방법

• 에너지 소비와 서비스 품질을 목표로 하여 SBS on/off 스케줄링 문제를 마르코프 결정 과정(MDP)으로 공식화한다.
• 연속적인 상태 공간과 액션 공간을 다룰 수 있도록 딥 신경망(DNN)을 사용해 정책(액터)과 가치 함수(크리틱)를 근사하는 딥 액터-크리틱 프레임워크를 적용한다.
• 오프-폴리시 경험 리플레이와 타겟 네트워크를 사용해 DNN를 엔드 투 엔드로 훈련하는 딥 디터미니스틱 정책 기반 학습(DDPG) 알고리즘을 활용한다.
• 상태-액션 쌍 기반으로 액션의 비용을 예측하기 위해 비용 추정 네트워크(CEN)를 도입하여 더 나은 탐색을 가능하게 한다.
• 비용 기반 탐색과 ε-탐색을 융합한 새로운 액션 정련 기법을 설계하여 학습 속도를 가속화하고 수렴 성능을 향상시킨다.
• 별도의 DNN를 사용해 트래픽 도착률을 예측함으로써, SBS 트래픽의 시간적 및 공간적 상관관계를 활용해 상태 표현을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 접근법이 동적으로 필요한 SBS만 활성화함으로써 헤테로제너스 네트워크(HetNets)에서 에너지 소비를 효과적으로 줄일 수 있는가?
• RQ2 제안된 DRAG 알고리즘이 표 형태 기반 강화학습 방법에 비해 확장성과 계산 복잡도 측면에서 어떻게 비교되는가?
• RQ3 비용 추정 네트워크(CEN)를 통합함으로써 학습 효율성과 정책 수렴 성능이 어느 정도 향상되는가?
• RQ4 SBS 수가 증가함에 따라 DRAG의 저장 및 계산 복잡도는 어떻게 변화하는가?
• RQ5 정적 및 비정적 트래픽 트레이스 모두에서 알고리즘의 성능은 어떠한가?

주요 결과

• DRAG는 정적 및 변동하는 트래픽 환경 모두에서 기존의 학습 기반 방법에 비해 에너지 효율성과 계산 효율성 면에서 뛰어나며, 수렴 속도가 빠르고 성능이 뛰어나다.
• 제안된 비용 기반 탐색 및 하이브리드(ε-비용 기반 탐색) 탐색 기법은 학습을 가속화하여, Q-값 기반 방법 대비 최소 50일 만에 정확한 비용 추정을 달성하는 데 성공했으며, 이는 Q-값 기반 방법의 300일 대비 빠른 성능 향상을 의미한다.
• 수렴을 위한 필요 네트워크 크기(RNS)는 SBS 수($B_s$)와 거의 선형적으로 증가하며, 이는 $O(B_s)$의 복잡도를 의미한다. 이는 표 형태 방법의 $O(2^{B_s})$ 복잡도에 비해 극적으로 향상된 결과이다.
• 네트워크 깊이를 증가시키면 수렴을 위한 필요 너비가 감소한다. 예를 들어 $B_s = 30$일 경우, 두 층일 경우 수렴 스케일 팩터는 0.5에서 세 층일 경우 0.4로 감소하여 더 깊은 네트워크가 샘플 효율성을 향상시킨다는 것을 보여준다.
• DRAG는 저장 및 계산 복잡도 모두 다항식 수준의 확장 가능한 성능을 달성하여 대규모 헤테로제너스 네트워크에의 구현 가능성을 확보한다.
• DNN 기반 정책 근사화는 사전에 트래픽 또는 채널 통계 정보가 필요 없이 동적 네트워크 조건에 모델 기반 없이 데이터 기반으로 적응 가능하게 한다.