[논문 리뷰] Deep Reinforcement Learning Based Mobile Edge Computing for Intelligent Internet of Things

Rui Zhao, Xinjie Wang외 2명|arXiv (Cornell University)|2020. 08. 01.

Advanced Wireless Communication Technologies참고 문헌 25인용 수 5

한 줄 요약

이 논문은 지능형 IoT 네트워크에서 모바일 엣지 컴퓨팅(MEC)을 위한 E-DQN 기반의 오프로딩 전략을 제안하며, 딥 강화학습을 활용해 작업 오프로딩, 대역폭 할당, CAP 선택을 최적화한다. 이 방법은 지연과 에너지 소비를 동시에 최소화하여 시스템 비용을 크게 감소시키며, 다양한 네트워크 조건에서 기준 전략을 능가한다.

ABSTRACT

In this paper, we investigate mobile edge computing (MEC) networks for intelligent internet of things (IoT), where multiple users have some computational tasks assisted by multiple computational access points (CAPs). By offloading some tasks to the CAPs, the system performance can be improved through reducing the latency and energy consumption, which are the two important metrics of interest in the MEC networks. We devise the system by proposing the offloading strategy intelligently through the deep reinforcement learning algorithm. In this algorithm, Deep Q-Network is used to automatically learn the offloading decision in order to optimize the system performance, and a neural network (NN) is trained to predict the offloading action, where the training data is generated from the environmental system. Moreover, we employ the bandwidth allocation in order to optimize the wireless spectrum for the links between the users and CAPs, where several bandwidth allocation schemes are proposed. In further, we use the CAP selection in order to choose one best CAP to assist the computational tasks from the users. Simulation results are finally presented to show the effectiveness of the proposed reinforcement learning offloading strategy. In particular, the system cost of latency and energy consumption can be reduced significantly by the proposed deep reinforcement learning based algorithm.

연구 동기 및 목표

• 모바일 엣지 컴퓨팅(MEC)을 활용한 계산 오프로딩을 통해 IoT 시스템의 높은 지연과 에너지 소비 문제를 해결하기 위해.
• 다양한 사용자 요구에 적응하는 지능적인 오프로딩 전략을 설계하여 최적의 컴퓨팅 액세스 포인트(CAP)를 동적으로 선택하고 대역폭을 할당하여 시스템 성능을 향상시키기 위해.
• 지연과 에너지 소비의 가중합으로 정의된 시스템 비용을 딥 강화학습을 통해 최소화하기 위해.
• 동적이고 불확실한 채널 조건을 가진 다중 사용자, 다중-CAP MEC 환경에서 자원 할당을 최적화하기 위해.

제안 방법

• 환경에서 생성된 데이터를 기반으로 훈련하여 최적의 오프로딩 결정을 학습하는 확장된 딥 Q-네트워크(E-DQN)를 적용한다.
• 실시간 시스템 상태(사용자 작업 요구사항 및 채널 조건 포함)를 기반으로 신경망을 사용해 오프로딩 동작을 예측한다.
• 사용자와 CAP 간의 스펙트럼 사용을 최적화하여 전송 지연과 에너지를 줄이는 대역폭 할당 방식을 도입한다.
• 각 사용자의 작업에 대해 최적의 성능을 갖춘 액세스 포인트를 선택함으로써 종단 간 비용을 최소화하는 CAP 선택을 적용한다.
• 시스템 비용을 지연과 에너지 소비의 선형 가중합으로 모델링하며, 조정 가능한 가중 요소 λ를 포함한다.
• 학습 안정성 향상과 수렴성 향상을 위해 재생 메모리 버퍼와 타겟 네트워크를 사용하여 E-DQN 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습을 활용해 다중 사용자, 다중-CAP MEC 네트워크에서 작업 오프로딩 결정을 지능적으로 최적화할 수 있는 방법은 무엇인가?
• RQ2 동적 대역폭 할당은 MEC 기반 IoT 시스템에서 전송 지연과 에너지 소비를 줄이는 데 어떤 영향을 미치는가?
• RQ3 무작위 또는 고정 선택 전략과 비교해 지능적인 CAP 선택은 시스템 비용에 어떤 영향을 미치는가?
• RQ4 다양한 네트워크 하중와 채널 조건에서 제안된 E-DQN 기반 전략이 정적 오프로딩 전략(예: 전부 로컬, 전부-CAP)을 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 제안된 E-DQN 오프로딩 전략은 모든 가중 요소 λ 값에 대해 '전부 로컬' 및 '전부-CAP' 오프로딩 전략을 일관되게 능가한다.
• 특히 λ 값이 클 경우 지연과 에너지 소비를 동적으로 균형 있게 조절함으로써 시스템 비용이 크게 감소한다.
• 사용자 수가 1명에서 6명으로 증가함에 따라 E-DQN 기법은 기준 전략 대비 낮은 시스템 비용을 유지하며 확장성과 강건성을 입증한다.
• CAP의 계산 능력이 높을수록 평균 에너지 소비가 감소하고 작업 오프로딩 비율이 증가하여, 사용자들이 더 강력한 CAP를 선호함을 보여준다.
• 총 대역폭을 2 GHz에서 9 GHz로 증가시킬수록 E-DQN 및 '전부-CAP' 전략의 성능이 향상되어 스펙트럼 최적화의 이점이 확인된다.
• 채널 품질과 부하 조건을 기반으로 한 CAP 선택은 랜덤 선택보다 우수한 성능을 보이며, 특히 λ 값이 클수록 효과가 두드러져 지능적인 CAP 선택의 효과를 입증한다.