[논문 리뷰] Deep Reinforcement Learning for Online Offloading in Wireless Powered Mobile-Edge Computing Networks.

Liang Huang, Suzhi Bi외 1명|arXiv (Cornell University)|2018. 08. 06.

Energy Harvesting in Wireless Networks인용 수 25

한 줄 요약

이 논문은 시간에 따라 변하는 채널 조건을 가진 무선 구동형 모바일 엣지 컴퓨팅(MEC) 네트워크에서 실시간 온라인 작업 오픈로딩을 가능하게 하는 딥 강화학습 프레임워크인 DROO를 제안한다. DROO는 최적의 이진 오픈로딩 결정과 자원 할당을 학습함으로써 기존 방법보다 10배 이상 낮은 계산 지연을 달성하며, 30명의 사용자 네트워크에서 CPU 실행 시간을 0.1초 이내로 줄인다.

ABSTRACT

Wireless powered mobile-edge computing (MEC) has recently emerged as a promising paradigm to enhance the data processing capability of low-power networks, such as wireless sensor networks and internet of things (IoT). In this paper, we consider a wireless powered MEC network that adopts a binary offloading policy, so that each computation task of wireless devices (WDs) is either executed locally or fully offloaded to an MEC server. Our goal is to acquire an online algorithm that optimally adapts task offloading decisions and wireless resource allocations to the time-varying wireless channel conditions. This requires quickly solving hard combinatorial optimization problems within the channel coherence time, which is hardly achievable with conventional numerical optimization methods. To tackle this problem, we propose a Deep Reinforcement learning-based Online Offloading (DROO) framework that implements a deep neural network as a scalable solution that learns the binary offloading decisions from the experience. It eliminates the need of solving combinatorial optimization problems, and thus greatly reduces the computational complexity especially in large-size networks. To further reduce the complexity, we propose an adaptive procedure that automatically adjusts the parameters of the DROO algorithm on the fly. Numerical results show that the proposed algorithm can achieve near-optimal performance while significantly decreasing the computation time by more than an order of magnitude compared with existing optimization methods. For example, the CPU execution latency of DROO is less than $0.1$ second in a $30$-user network, making real-time and optimal offloading truly viable even in a fast fading environment.

연구 동기 및 목표

• 시간에 따라 변하는 채널 조건을 가진 무선 구동형 모바일 엣지 컴퓨팅(MEC) 네트워크에서 온라인 작업 오픈로딩의 과제를 해결한다.
• 기존 방법으로는 채널 연속 시간 내에 복잡한 조합 최적화 문제를 해결하는 데 높은 계산 복잡도가 발생하는 문제를 극복한다.
• 최적의 오픈로딩 결정과 자원 할당을 온라인 최적화 문제를 풀지 않고도 동적으로 조정할 수 있는 확장성 있고 실시간인 솔루션을 설계한다.
• 실제 구현이 가능한 빠른 페이딩 환경에서의 적용을 위해 계산 지연을 크게 감소시킨다. 특히 대규모 IoT 및 센서 네트워크에서 유의미하다.

제안 방법

• 경험에서 이진 오픈로딩 결정을 학습하기 위해 딥 네트워크를 사용하는 딥 강화학습 기반 온라인 오픈로딩(DROO) 프레임워크를 제안한다.
• 오픈로딩 결정을 마르코프 결정 과정(Markov decision process)으로 모델링하며, 에이전트는 현재 채널 상태와 시스템 상태에 기반해 행동(로컬 실행 또는 전체 오픈로딩)을 선택한다.
• 행동-가치 함수를 근사하기 위해 Q-학습 기반의 딥 Q-네트워크(DQN) 아키텍처를 사용하여 최적 정책의 엔드 투 엔드 학습을 가능하게 한다.
• 런타임 중에 DROO 알고리즘의 하이퍼파ram터를 동적으로 조정하는 적응형 파ram터 조정 절차를 도입하여 수렴성과 성능을 향상시킨다.
• 에너지 효율성과 작업 완료 지연을 동시에 최적화하는 보상 함수를 사용하여 로컬 및 오픈로드된 계산 간의 트레이드오프를 반영한다.
• 시간에 따라 변하는 채널 조건이 있는 시뮬레이션 환경에서 DROO 에이전트를 훈련시켜 다양한 네트워크 상태와 사용자 수에 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 시간에 따라 변하는 채널 조건을 가진 무선 구동형 MEC 네트워크에서 실시간 최적 오픈로딩 결정을 효과적으로 학습할 수 있는가?
• RQ2 기존 최적화 방법과 비교할 때 DROO 프레임워크는 계산 지연과 성능 확장성 측면에서 어떻게 다른가?
• RQ3 적응형 하이퍼파ram터 튜닝은 동적인 환경에서 DROO 알고리즘의 수렴성과 내성에 얼마나 기여하는가?
• RQ4 제안된 온라인 오픈로딩 프레임워크에서 에너지 효율성과 작업 완료 지연 간의 달성 가능한 트레이드오프는 무엇인가?
• RQ5 대규모 네트워크에서 계산 복잡도를 한 계단 이상 감소시키면서도 DROO 프레임워크는 근사 최적 성능를 유지할 수 있는가?

주요 결과

• DROO 프레임워크는 에너지-지연 트레이드오프 측면에서 근사 최적 성능를 달성하며, 전수 검색을 통해 확보한 이론적 최적값에 매우 가까이 접근한다.
• 30명의 사용자 네트워크에서 DROO의 CPU 실행 지연은 0.1초 이내로, 빠른 페이딩 환경에서도 실시간 실행 가능성을 입증한다.
• 기존의 수치 최적화 방법에 비해 DROO는 계산 시간을 한 계단 이상 감소시켜 확장성 향상에 기여한다.
• 적응형 파ram터 조정 절차는 특히 고도로 동적인 채널 조건에서 학습 안정성과 수렴 속도를 향상시킨다.
• 다양한 네트워크 크기에서 높은 성능를 유지하며, 대규모 배포 시에도 최소한의 성능 저하를 보인다.
• DROO의 딥 네트워크 구성 요소는 각각의 시나리오에 대해 재학습이 필요 없이 다양한 채널 상태와 사용자 분포에 대해 일반화 성능를 성공적으로 달성한다.