[논문 리뷰] Performance Optimization in Mobile-Edge Computing via Deep Reinforcement Learning

Xianfu Chen, Honggang Zhang외 4명|arXiv (Cornell University)|2018. 03. 25.

IoT and Edge/Fog Computing참고 문헌 10인용 수 21

한 줄 요약

이 논문은 초밀도 네트워크에서 모바일 에지 컴퓨팅(MEC)을 위한 딥 Q-네트워크(DQN)-기반 온라인 계산 오프로딩 정책을 제안하며, 동적 채널 품질, 에너지, 작업 큐 상태에 기반해 적응형 작업 오프로딩 결정을 가능하게 한다. 이 방법은 사전 통계 지식이 없이 최적의 정책을 학습함으로써 기준 대비 최대 56% 낮은 장기 비용을 달성한다.

ABSTRACT

To improve the quality of computation experience for mobile devices, mobile-edge computing (MEC) is emerging as a promising paradigm by providing computing capabilities within radio access networks in close proximity. Nevertheless, the design of computation offloading policies for a MEC system remains challenging. Specifically, whether to execute an arriving computation task at local mobile device or to offload a task for cloud execution should adapt to the environmental dynamics in a smarter manner. In this paper, we consider MEC for a representative mobile user in an ultra dense network, where one of multiple base stations (BSs) can be selected for computation offloading. The problem of solving an optimal computation offloading policy is modelled as a Markov decision process, where our objective is to minimize the long-term cost and an offloading decision is made based on the channel qualities between the mobile user and the BSs, the energy queue state as well as the task queue state. To break the curse of high dimensionality in state space, we propose a deep $Q$-network-based strategic computation offloading algorithm to learn the optimal policy without having a priori knowledge of the dynamic statistics. Numerical experiments provided in this paper show that our proposed algorithm achieves a significant improvement in average cost compared with baseline policies.

연구 동기 및 목표

• 시간에 따라 변화하는 환경 역학을 고려한 적응형 계산 오프로딩 정책 설계의 과제를 해결한다.
• 초밀도 네트워크에서 다수의 기지국과 동적 시스템 상태로 인해 발생하는 상태공간의 차원의 저주를 극복한다.
• 채널 통계나 작업 도착 분포에 대한 사전 지식이 필요 없는 온라인 학습 기반 오프로딩 정책을 개발한다.
• 마르코프 결정 과정(MDP) 프레임워크에서 장기 비용을 최소화함으로써 실행 지연, 핸드오버 비용, 작업 유실 간의 트레이드오���을 최적화한다.

제안 방법

• 채널 품질, 에너지 큐, 작업 큐 상태로 정의된 상태를 갖는 마르코프 결정 과정(MDP)으로 계산 오프로딩 문제를 수식화한다.
• 고차원 상태공간을 다룰 수 있도록 완전히 연결된 신경망을 사용한 딥 Q-네트워크(DQN)를 활용하여 Q-값 함수의 기능 근사(function-approximation)를 수행한다.
• DQN 알고리즘의 학습 안정성과 수렴성 향상을 위해 경험 재생(experience replay)과 타겟 네트워크를 사용한다.
• 정책 학습을 이끄는 데 사용하기 위해 실행 지연, 핸드오버 비용, 작업 유실 페널티를 통합한 보상 함수를 설계한다.
• 환경과의 실시간 상호작용을 통해 DQN 에이전트를 온라인으로 훈련시켜 사전 통계 모델 없이도 동적 네트워크 조건에 적응할 수 있도록 한다.
• 최적 성능를 확보하기 위해 하나의 은닉층을 512개의 뉴런으로 구성하였으며, 더 깊은 네트워크는 학습 효율성을 떨어뜨린다.

실험 결과

연구 질문

• RQ1 초밀도 MEC 네트워크에서 시간에 따라 변화하는 채널 조건, 에너지 가용성, 작업 도착에 적응적으로 반응할 수 있는 계산 오프로딩 정책은 어떻게 설계할 수 있는가?
• RQ2 DQN과 같은 딥 강화학습 접근법이 전통적인 일회성 최적화 또는 근시성 정책보다 장기 시스템 비용을 최소화하는 데 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 DQN 아키텍처(깊이 및 너비)가 비용 최소화 측면에서 오프로딩 정책 성능에 어떤 영향을 미치는가?
• RQ4 수확된 에너지의 도착률이 MEC 시스템에서 실행 지연, 핸드오버 빈도, 작업 유실 간의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• 제안된 DQN 기반 오프로딩 정책은 기준 정책 대비 평균 장기 비용을 56% 감소시켜 뚜렷한 성능 향상을 입증한다.
• 훈련 중 손실 함수가 감소하는 것으로 나타나 알고리즘이 시간이 지남에 따라 안정적으로 수렴함을 입증하였으며, 90만 번째 에포크 이후의 결과를 수집하였다.
• 더 넓은 DQN(층당 더 많은 뉴런)이 더 깊은 아키텍처보다 성능이 뛰어나, 이 설정에서는 너비가 깊이보다 기능 근사의 품질을 더 잘 달성함을 시사한다.
• 에너지 도착률이 높아지면 작업 유실이 감소하고 평균 비용이 낮아지며, 더 나은 채널 선택 기회로 인해 실행 지연과 핸드오버 빈도가 항상 감소하지는 않음에도 불구하고 효과적인 개선이 이루어진다.
• 실시간 조건에 기반해 이용 가능한 최적의 기지국으로 오프로딩할 수 있도록 정책이 지연, 핸드오버 비용, 작업 유실 간의 트레이드오프를 효과적으로 균형 잡는다.
• 이 방법은 채널 통계나 작업 도착 분포에 대한 사전 지식이 필요 없어 실제 동적 MEC 구현에 적합하다.