[논문 리뷰] Sampling, Communication, and Prediction Co-Design for Synchronizing the Real-World Device and Digital Model in Metaverse

Zhen Meng, Changyang She외 2명|arXiv (Cornell University)|2022. 07. 31.

Virtual Reality Applications and Impacts인용 수 4

한 줄 요약

이 논문은 메타버스에서 실제 로봇 암과 그 디지털 트윈 간의 밀도 높은 동기화를 유지하면서 통신 부하를 최소화하기 위해 샘플링, 통신, 예측을 통합하는 공동 설계 프레임워크를 제안한다. 지식 증강된 제약 조건이 있는 딥 강화학습 알고리즘(KC-TD3)을 사용하여, 동적 최적화를 통해 샘플링 주기와 예측 수평선을 조정함으로써, 엄격한 오차 제약 조건 하에서 평균 통신 부하를 최대 87% 감소시키며, 안정성과 꼬리 오차 성능에서 정적 기준보다 뛰어난 성능을 보인다.

ABSTRACT

The metaverse has the potential to revolutionize the next generation of the Internet by supporting highly interactive services with the help of Mixed Reality (MR) technologies; still, to provide a satisfactory experience for users, the synchronization between the physical world and its digital models is crucial. This work proposes a sampling, communication and prediction co-design framework to minimize the communication load subject to a constraint on tracking the Mean Squared Error (MSE) between a real-world device and its digital model in the metaverse. To optimize the sampling rate and the prediction horizon, we exploit expert knowledge and develop a constrained Deep Reinforcement Learning (DRL) algorithm, named Knowledge-assisted Constrained Twin-Delayed Deep Deterministic (KC-TD3) policy gradient algorithm. We validate our framework on a prototype composed of a real-world robotic arm and its digital model. Compared with existing approaches: (1) When the tracking error constraint is stringent (MSE=0.002 degrees), our policy degenerates into the policy in the sampling-communication co-design framework. (2) When the tracking error constraint is mild (MSE=0.007 degrees), our policy degenerates into the policy in the prediction-communication co-design framework. (3) Our framework achieves a better trade-off between the average MSE and the average communication load compared with a communication system without sampling and prediction. For example, the average communication load can be reduced up to 87% when the track error constraint is 0.002 degrees. (4) Our policy outperforms the benchmark with the static sampling rate and prediction horizon optimized by exhaustive search, in terms of the tail probability of the tracking error. Furthermore, with the assistance of expert knowledge, the proposed algorithm KC-TD3 achieves better convergence time, stability, and final policy performance.

연구 동기 및 목표

• 메타버스에서 실제 장치와 디지털 모델 간의 동기화를 통신 오버헤드를 최소화하면서 해결하고자 한다.
• 지연 및 패킷 손실과 같은 네트워크 제약 조건 하에서도 낮은 추적 오차(MSE)를 유지하고자 한다.
• 더 나은 효율성과 신뢰성을 위해 샘플링 주기, 통신, 예측 수평선을 공동 최적화하고자 한다.
• 시스템 동역학과 제약 조건에 동적으로 적응하는 강화학습 기반 정책을 개발하고자 한다.
• 실제 로봇 암과 디지털 트윈 프로토타입을 대상으로 실제 네트워크 조건 하에서 프레임워크를 검증하고자 한다.

제안 방법

• 메타버스 내 실시간 동기화를 위해 샘플링, 통신, 예측을 공동 최적화하는 공동 설계 프레임워크를 제안한다.
• 전문 지식을 통합하여 탐색을 이끌고 MSE 제약 조건을 강제하는 KC-TD3라는 제약 조건이 있는 딥 강화학습(DRL) 알고리즘을 도입한다.
• 장기 수평 결정을 가능하게 하기 위해 과거 궤적, 예측 상태, 시스템 파라미터를 포함한 상태를 포함하는 마르코프 결정 과정(Markov decision process)을 사용한다.
• 안정적인 학습을 가능하게 하기 위해 탈상관 시간 기반 관측 수평선을 사용하여 마르코프 성질을 확보한다.
• 고도의 통신 부하와 추적 오차를 방지하기 위해 보상 함수를 설계하며, 제약 조건은 보상 기반 방법으로 강제한다.
• 변동하는 패킷 손실률과 MSE 제약 조건 하에서 실제 로봇 암과 디지털 트윈 시스템을 대상으로 프레임워크를 검증한다.

Figure 1: Proposed co-design framework to synchronize a real-world device and its digital model in the metaverse.

실험 결과

연구 질문

• RQ1 샘플링, 통신, 예측의 공동 설계 프레임워크가 메타버스 동기화에서 통신 부하를 크게 줄이고 낮은 추적 오차를 유지할 수 있는가?
• RQ2 KC-TD3 알고리즘이 고갈 검색을 통해 최적화된 정적 정책과 비교할 때 수렴성, 안정성, 추적 오차 분포 측면에서 어떻게 성능을 내는가?
• RQ3 프레임워크가 순수한 샘플링-통신 공동 설계 또는 예측-통신 공동 설계로 악화되는 조건은 무엇인가?
• RQ4 전문 지식이 DRL 에이전트의 수렴 속도와 최종 정책 성능에 얼마나 기여하는가?
• RQ5 실제 통신 채널에서 패킷 손실 확률이 변할 경우 시스템은 어떻게 성능을 내는가?

주요 결과

• KC-TD3 알고리즘이 평균 추적 오차 제약 조건이 0.002°일 경우 평균 통신 부하를 최대 87% 감소시키며, 기준 시스템보다 뚜렷이 뛰어난 성능을 보인다.
• MSE 제약 조건이 엄격할 경우(0.002°), 정책은 순수한 샘플링-통신 공동 설계와 유사한 행동으로 수렴하여 유연성과 적응성을 입증한다.
• 더 유연한 제약 조건(0.007°) 하에서는 정책이 예측-통신 공동 설계로 이동하여, 허용 가능한 경우 예측 기반 최적화를 효과적으로 활용함을 보여준다.
• KC-TD3는 고갈 검색 기반 정적 정책보다 추적 오차의 꼬리 확률 성능이 뛰어나, 더 일관되고 신뢰할 수 있는 동기화를 제공한다.
• 전문 지식이 포함된 KC-TD3는 제약 조건이 없는 DRL 기준보다 더 빠른 수렴 속도, 높은 안정성, 그리고 향상된 최종 정책 성능을 달성한다.
• 10%의 패킷 손실 조건 하에서도 KC-TD3는 기준보다 정규화된 통신 부하를 최대 75% 감소시키며 평균 추적 오차 0.002°를 유지한다.

Figure 2: The timing sequence of the proposed co-design framework (The senor belongs to the real world device for data generation and the transmitter belongs to a local server. The receiver and functions for construction and predication are deployed at the cloud server that operates the metaverse).