[논문 리뷰] Revenue and Energy Efficiency-Driven Delay Constrained Computing Task Offloading and Resource Allocation in a Vehicular Edge Computing Network: A Deep Reinforcement Learning Approach

Xinyu Huang, Lijun He외 3명|arXiv (Cornell University)|2020. 10. 16.

IoT and Edge/Fog Computing참고 문헌 32인용 수 5

한 줄 요약

이 논문은 다중 에이전트 딥 디터미니스틱 정책 그래디언트(JORA-MADDPG) 알고리즘을 사용하여 차량 에지 컴퓨팅(Vehicle Edge Computing, VEC)에서 작업 유형과 차량 속도 인식을 고려한 동시 오프로딩 및 자원 할당 전략을 제안한다. 이는 지연 제약 조건 하에서 에너지 효율성과 수익을 균형 있게 조절하여 차량의 유틸리티를 최적화하며, 다양한 속도와 가격 설정 조건에서 기준 방법보다 낮은 작업 완료 지연과 더 높은 유틸리티를 달성한다.

ABSTRACT

For in-vehicle application,task type and vehicle state information, i.e., vehicle speed, bear a significant impact on the task delay requirement. However, the joint impact of task type and vehicle speed on the task delay constraint has not been studied, and this lack of study may cause a mismatch between the requirement of the task delay and allocated computation and wireless resources. In this paper, we propose a joint task type and vehicle speed-aware task offloading and resource allocation strategy to decrease the vehicl's energy cost for executing tasks and increase the revenue of the vehicle for processing tasks within the delay constraint. First, we establish the joint task type and vehicle speed-aware delay constraint model. Then, the delay, energy cost and revenue for task execution in the vehicular edge computing (VEC) server, local terminal and terminals of other vehicles are calculated. Based on the energy cost and revenue from task execution,the utility function of the vehicle is acquired. Next, we formulate a joint optimization of task offloading and resource allocation to maximize the utility level of the vehicles subject to the constraints of task delay, computation resources and wireless resources. To obtain a near-optimal solution of the formulated problem, a joint offloading and resource allocation based on the multi-agent deep deterministic policy gradient (JORA-MADDPG) algorithm is proposed to maximize the utility level of vehicles. Simulation results show that our algorithm can achieve superior performance in task completion delay, vehicles' energy cost and processing revenue.

연구 동기 및 목표

• 차량 에지 컴퓨팅에서 작업 유형과 차량 속도가 작업 지연 제약 조건에 미치는 병합 영향을 모델링하는 데 있어 기존의 격차를 해소한다.
• 지연, 계산 및 무선 자원 제약 조건 하에서 차량의 에너지 비용과 처리 수익을 균형 잡는 유틸리티 함수를 수립한다.
• 동적 VEC 환경에서 차량 유틸리티를 최대화하기 위한 작업 오프로딩 및 자원 할당의 공동 최적화 프레임워크를 개발한다.
• 실시간, 맥락 인식 가능한 차량 네트워크에서 근사 최적 해를 달성하기 위해 다중 에이전트 딥 디터미니스틱 정책 그래디언트 알고리즘(JORA-MADDPG)을 설계한다.
• 차량 속도와 오프로딩 가격 모델이 다양할 경우의 성능을 평가하여 제안된 방법의 강건성과 확장성을 검증한다.

제안 방법

• 작업 유형과 차량 속도를 명시적으로 통합하여 실제 응용 요구 사항을 반영하는 지연 제약 모델을 수립한다.
• 로컬 실행, VEC 서버 오프로딩, V2V 오프로딩의 세 가지 옵션에 대해 작업 완료 지연, 에너지 소비, 처리 수익을 모델링한다.
• 에너지 비용 절감과 다른 차량의 작업 처리에서 얻는 수익을 가중 조합으로 정의한 차량 유틸리티 함수를 설정한다.
• 지연, 계산 및 무선 자원 제약 조건이 있는 마르코프 결정 과정(Markov Decision Process, MDP)으로 동시 오프로딩 및 자원 할당 문제를 수식화한다.
• 다중 에이전트 딥 디터미니스틱 정책 그래디언트 방법을 활용해 차량 간 협동 오프로딩 결정을 학습하는 JORA-MADDPG 알고리즘을 제안한다.
• 비정적 차량 환경에서 학습 안정성과 수렴 성능 향상을 위해 경험 재생과 타겟 네트워크를 사용해 JORA-MADDPG 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 작업 유형과 차량 속도의 병합 고려가 차량 에지 컴퓨팅에서 지연 제약 조건에 어떤 영향을 미치는가?
• RQ2 변동하는 차량 이동성 조건 하에서 작업 오프로딩 의사결정에서 에너지 효율성과 수익 창출 간 최적의 트레이드오프는 무엇인가?
• RQ3 제안된 JORA-MADDPG 알고리즘이 기준 방법(DDPG, 그리디, AL, AO 등)과 비교해 작업 완료 지연과 차량 유틸리티 측면에서 어떻게 성능을 내는가?
• RQ4 오프로딩 단위 가격이 변화할 경우, 제안된 알고리즘의 지연 및 유틸리티 성능에 어떤 영향을 미치는가?
• RQ5 차량 속도 범위가 V2V 기반 작업 오프로딩의 빈도와 효율성, 그리고 최종 유틸리티에 어떤 영향을 미치는가?

주요 결과

• 모든 테스트 시나리오에서 JORA-MADDPG 알고리즘이 AL, AO, RD, 그리디, DDPG 알고리즘보다 유의미하게 낮은 평균 작업 완료 지연과 더 높은 평균 유틸리티를 달성한다.
• 차량 속도 범위 [30, 80] km/h에서 유틸리티가 가장 높은데, 이는 저속 차량이 고속 차량의 작업을 효율적으로 처리할 수 있는 V2V 오프로딩 기회가 증가하기 때문이다.
• VEC 서버로의 오프로딩 단위 가격이 상승할수록 알고리즘은 V2V 통신을 통해 다른 차량에게 작업을 우선적으로 오프로딩하여 지연이 약간 증가하더라도 수익을 증가시킨다.
• VEC 오프로딩 가격이 감소할수록 알고리즘은 지연과 에너지 소비를 줄이기 위해 서버 오프로딩으로 전환하여 가격 민감도에 적응함을 보여준다.
• 모든 오프로딩 단위 가격 설정에서 알고리즘이 뛰어난 성능을 유지하며, 동적 가격 설정과 이동성 조건에 대한 강건성과 적응성을 입증한다.
• 에너지 비용과 수익 기반 유틸리티 함수는 지속 가능성과 차량 네트워크 내 경제적 인centive를 동시에 향상시키는 균형 잡힌 최적화를 가능하게 한다.