[논문 리뷰] Joint Task Offloading and Resource Optimization in NOMA-based Vehicular Edge Computing: A Game-Theoretic DRL Approach

Xincao Xu, Kai Liu외 5명|arXiv (Cornell University)|2022. 09. 26.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 NOMA 기반 차량용 엣지 컴퓨팅에서 동시 작업 이송 및 자원 할당을 위한 게임 이론 기반 딥 강화 학습 접근법을 제안한다. 작업 이송을 정확한 잠재력 게임으로 모델링하고 다중 에이전트 분산 분포 DDPG 알고리즘을 사용함으로써, 높은 서비스 비율을 달성하는 나시 균형에 도달한다. 시뮬레이션 결과는 기준 방법 대비 작업 완료 및 자원 효율성에서 뛰어난 성능을 보였다.

ABSTRACT

Vehicular edge computing (VEC) becomes a promising paradigm for the development of emerging intelligent transportation systems. Nevertheless, the limited resources and massive transmission demands bring great challenges on implementing vehicular applications with stringent deadline requirements. This work presents a non-orthogonal multiple access (NOMA) based architecture in VEC, where heterogeneous edge nodes are cooperated for real-time task processing. We derive a vehicle-to-infrastructure (V2I) transmission model by considering both intra-edge and inter-edge interferences and formulate a cooperative resource optimization (CRO) problem by jointly optimizing the task offloading and resource allocation, aiming at maximizing the service ratio. Further, we decompose the CRO into two subproblems, namely, task offloading and resource allocation. In particular, the task offloading subproblem is modeled as an exact potential game (EPG), and a multi-agent distributed distributional deep deterministic policy gradient (MAD4PG) is proposed to achieve the Nash equilibrium. The resource allocation subproblem is divided into two independent convex optimization problems, and an optimal solution is proposed by using a gradient-based iterative method and KKT condition. Finally, we build the simulation model based on real-world vehicle trajectories and give a comprehensive performance evaluation, which conclusively demonstrates the superiority of the proposed solutions.

연구 동기 및 목표

• 동적이고 간섭이 많은 V2I 환경에서 실시간 작업 이송 및 이질적 자원 할당 문제를 해결하기 위해.
• 중앙집중식 솔루션의 한계를 극복하기 위해 동시 최적화를 위한 분산형이고 확장 가능한 프레임워크를 제안하기 위해.
• 비정규 다중접근(NOMA)을 차량용 엣지 컴퓨팅과 통합하여 스펙트럼 효율성을 향상시키고 다량의 지연 민감한 작업을 지원하기 위해.
• 작업 이송을 정확한 잠재력 게임으로 모델링하고 딥 강화 학습을 통해 나시 균형을 달성하기 위해.
• 협동 자원 최적화 문제를 해석 가능한 부분문제로 분해하여 수렴성과 최적성의 증명이 가능한 문제로 만들기 위해.

제안 방법

• 서비스 비율을 극대화하기 위해 작업 이송과 자원 할당을 동시에 최적화하는 협동 자원 최적화(CRO) 문제를 수립한다.
• CRO 문제를 두 개의 부분문제로 분해한다: 작업 이송(정확한 잠재력 게임으로 모델링됨) 및 자원 할당(볼록 최적화를 통해 해결됨).
• 잠재력 함수가 존재하고 나시 균형으로 수렴함을 보장하는 정확한 잠재력 게임(EPG)으로 작업 이송을 모델링한다.
• 엔드 노드의 보상 신호로 잠재력 함수를 사용하는 다중 에이전트 분산 분포 딥 디터민리스 정책 그라디언트(MAD4PG) 알고리즘을 제안한다.
• 최적의 전력 및 대역폭 할당을 달성하기 위해 KKT 조건과 함께 기울기 기반 반복 방법을 사용하여 자원 할당 부분문제를 해결한다.
• 실제 차량 이동 경로를 사용하여 시뮬레이션을 수행함으로써 현실적인 이동성 및 작업 분포 패턴 하에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 동적 간섭 조건 하에서 NOMA 기반 차량용 엣지 컴퓨팅 환경에서 작업 이송 및 자원 할당을 동시에 최적화하여 서비스 비율을 극대화할 수 있는가?
• RQ2 게임 이론 기반 딥 강화 학습 프레임워크는 차량 네트워크에서 안정적이고 분산형이며 확장 가능한 작업 이송 결정을 달성할 수 있는가?
• RQ3 NOMA 기반 VEC에서 상호 엣지 간 및 내부 엣지 간 간섭은 작업 완료 및 자원 할당에 어떤 영향을 미치는가?
• RQ4 제안된 MAD4PG 알고리즘은 중앙집중식 또는 비게임 기반 DRL 기준 대비 수렴성과 성능 측면에서 어떻게 비교되는가?
• RQ5 MAD4PG에서 잠재력 함수 기반 보상 설계는 작업 이송 게임에서 나시 균형으로의 수렴을 얼마나 잘 보장하는가?

주요 결과

• 제안된 MAD4PG 알고리즘은 작업 이송 게임에서 나시 균형으로 수렴하며, 잠재력 함수가 효과적인 보상 신호로 기능한다.
• CRO 문제의 두 부분문제로의 분해는 최적이고 확장 가능한 해법을 가능하게 하며, 자원 할당 부분문제는 KKT 조건과 기울기 기반 반복을 통해 해결된다.
• 시뮬레이션 결과는 고부하 및 고간섭 조건 하에서 기준 방법 대비 최대 25% 높은 서비스 비율 향상을 보였다.
• 프레임워크는 이질적인 엣지 노드 간 작업 부하를 효과적으로 균형 잡아 계산 병목 현상을 감소시키고 작업 처리의 공정성을 향상시켰다.
• NOMA와 VEC의 통합은 OMA 기반 기법 대비 더 높은 스펙트럼 효율성을 달성하고 동시에 처리 가능한 작업 수를 늘릴 수 있도록 했다.
• 확장성, 수렴 속도, 동적 차량 이동성에 대한 강인성 측면에서 중앙집중식 및 비게임 기반 DRL 기준 대비 제안된 방법이 뛰어난 성능을 보였다.