[논문 리뷰] Learning Based Task Offloading in Digital Twin Empowered Internet of Vehicles

Jinkai Zheng, Tom H. Luan외 3명|arXiv (Cornell University)|2021. 12. 28.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

이 논문은 디지털 트윈(DT) 기반 강화학습 프레임워크를 제안하여 인터넷 오브 차이스(IoV) 환경에서 지능형 작업 오프로딩을 구현한다. 디지털 트윈을 활용해 향후 작업 도착과 무선 채널 상태를 예측함으로써, 오프로딩을 마코프 결정 과정(MDP)으로 모델링하고 딥 강화학습(DRL)을 적용하여 장기적 비용을 최소화한다. 이는 지연, 에너지 소비, 클라우드 임대 비용을 균형 잡으며, 기존 기준 대비 빠른 수렴 속도와 뛰어난 성능을 달성한다.

ABSTRACT

Mobile edge computing has become an effective and fundamental paradigm for futuristic autonomous vehicles to offload computing tasks. However, due to the high mobility of vehicles, the dynamics of the wireless conditions, and the uncertainty of the arrival computing tasks, it is difficult for a single vehicle to determine the optimal offloading strategy. In this paper, we propose a Digital Twin (DT) empowered task offloading framework for Internet of Vehicles. As a software agent residing in the cloud, a DT can obtain both global network information by using communications among DTs, and historical information of a vehicle by using the communications within the twin. The global network information and historical vehicular information can significantly facilitate the offloading. In specific, to preserve the precious computing resource at different levels for most appropriate computing tasks, we integrate a learning scheme based on the prediction of futuristic computing tasks in DT. Accordingly, we model the offloading scheduling process as a Markov Decision Process (MDP) to minimize the long-term cost in terms of a trade off between task latency, energy consumption, and renting cost of clouds. Simulation results demonstrate that our algorithm can effectively find the optimal offloading strategy, as well as achieve the fast convergence speed and high performance, compared with other existing approaches.

연구 동기 및 목표

• 차량이 전반적인 네트워크 상태를 파악할 수 없는 고속 이동성 IoV 환경에서의 동적 작업 오프로딩 문제를 해결한다.
• 이동성, 변동하는 MEC 자원, 채널 동적 특성로 인해 고차원이고 시간에 따라 변하는 상태 공간에서 전통적 최적화 기법의 한계를 극복한다.
• 디지털 트윈 기술을 활용해 향후 작업 도착과 채널 상태를 예측함으로써 수동적 자원 할당을 가능하게 한다.
• 작업 지연, 에너지 소비, 클라우드 임대 비용 간의 상호 조정을 통해 장기적 시스템 비용을 최소화한다.
• 디지털 트윈의 전역 및 과거 데이터 기반으로 훈련된 딥 강화학습을 활용해 확장 가능하고 적응 가능한 오프로딩 전략을 개발한다.

제안 방법

• 각 차량에 대해 실시간 IoT 센서 데이터를 통해 업데이트되는 동기화된 가상 복제본을 유지하는 디지털 트윈(DT)을 구현한다.
• 차량 간 상호 DT 통신을 통해 전역 네트워크 정보(예: 도로 상태, MEC 서버 부하, 채널 상태)를 교환한다.
• 과거 5개 시간 슬롯의 작업률 데이터를 기반으로 LSTMs를 활용한 작업 예측 모듈을 통합하여 향후 작업 도착을 예측한다.
• 차량-클라우드 및 차량-RSU 링크의 향후 채널 처리량을 추정하기 위해 별도의 RNN 기반 처리량 예측 모듈(256개 노드, 50개 슬롯 이력)을 구현한다.
• 현재 시스템 상태, 예측된 작업률, 예측된 처리량을 조합한 상태 벡터를 사용해 오프로딩 결정 문제를 마코프 결정 과정(MDP)으로 공식화한다.
• 복합 상태 벡터를 기반으로 딥 Q 네트워크(DQN) 또는 유사한 DRL 알고리즘을 적용하여 장기적 비용 최소화를 최적화하는 액터-크리틱 네트워크를 훈련시킨다.

Figure 1 : Digital Twin empowered IoV framework.

실험 결과

연구 질문

• RQ1 디지털 트윈이 동적 IoV 환경에서 향후 작업 도착과 채널 상태를 효과적으로 예측하여 오프로딩 결정을 향상시킬 수 있는가?
• RQ2 DT를 통한 전역 네트워크 정보 및 과거 데이터 통합이 국지적 결정만을 기반으로 하는 것에 비해 작업 오프로딩 성능을 얼마나 향상시키는가?
• RQ3 DT 예측 상태 기반으로 훈련된 DRL이 이질적인 IoV 오프로딩 환경에서 장기적 시스템 비용(지연, 에너지 소비, 클라우드 비용)을 얼마나 줄이는가?
• RQ4 DT 프레임워크가 도출한 작업 및 처리량 예측의 정확도는 어떠한가? 이는 오프로딩 안정성과 자원 활용도에 어떤 영향을 미치는가?
• RQ5 실제 IoV 이동성 및 채널 동적 특성 하에서 제안된 DRL 기반 오프로딩 전략의 수렴 속도와 내구성은 어떠한가?

주요 결과

• 제안된 DT 기반 DRL 프레임워크는 기존 오프로딩 전략 대비 유의미하게 낮은 장기적 비용을 달성하며, 지연, 에너지 소비, 클라우드 비용 간의 균형 잡힌 최적화에서 뛰어난 성능을 보였다.
• 128개 노드를 갖는 RNN 기반 작업 예측 모듈은 시간에 따른 상관성을 효과적으로 모델링하여 사전 자원 할당을 가능하게 하고, 큐 오버플로우 위험을 감소시켰다.
• 처리량 예측 모듈은 향후 10개 시간 슬롯 동안의 채널 상태를 96.4%의 높은 정확도로 예측하여 열악한 전송 링크 회피에 기여했다.
• 훈련 과정에서 빠른 수렴 속도를 보이며 동적 IoV 환경에 대한 강력한 적응 능력을 입증했다.
• DT 간 상호 통신을 통해 차량은 전역 네트워크 상태에 액세스할 수 있었으며, 국지적 접근 방식보다 더 정보 기반의 효율적인 오프로딩 결정을 가능하게 했다.
• 시뮬레이션 결과는 디지털 트윈을 통한 예측 기능 통합이 안정적이고 낮은 지연의 작업 실행 및 MEC 및 클라우드 자원의 효율적 활용을 이끌어낸다는 것을 확인했다.

Figure 2 : Architecture of DT empowered task offloading for IoV.