[論文レビュー] Sampling, Communication, and Prediction Co-Design for Synchronizing the Real-World Device and Digital Model in Metaverse

Zhen Meng, Changyang She+2 more|arXiv (Cornell University)|Jul 31, 2022

Virtual Reality Applications and Impacts被引用数 4

ひとこと要約

本稿では、メタバースにおける実世界のロボットアームとそのデジタルツインの間で通信負荷を最小限に抑えつつ、きびしい同期を維持するための共同設計フレームワークを提案する。知識拡張型制約付き深層強化学習アルゴリズム（KC-TD3）を用い、動的にサンプリングレートと予測予測期間を最適化することで、厳密な誤差制約下で平均通信負荷を最大87％まで削減し、安定性およびテール誤差性能において静的ベンチマークを上回る性能を発揮した。

ABSTRACT

The metaverse has the potential to revolutionize the next generation of the Internet by supporting highly interactive services with the help of Mixed Reality (MR) technologies; still, to provide a satisfactory experience for users, the synchronization between the physical world and its digital models is crucial. This work proposes a sampling, communication and prediction co-design framework to minimize the communication load subject to a constraint on tracking the Mean Squared Error (MSE) between a real-world device and its digital model in the metaverse. To optimize the sampling rate and the prediction horizon, we exploit expert knowledge and develop a constrained Deep Reinforcement Learning (DRL) algorithm, named Knowledge-assisted Constrained Twin-Delayed Deep Deterministic (KC-TD3) policy gradient algorithm. We validate our framework on a prototype composed of a real-world robotic arm and its digital model. Compared with existing approaches: (1) When the tracking error constraint is stringent (MSE=0.002 degrees), our policy degenerates into the policy in the sampling-communication co-design framework. (2) When the tracking error constraint is mild (MSE=0.007 degrees), our policy degenerates into the policy in the prediction-communication co-design framework. (3) Our framework achieves a better trade-off between the average MSE and the average communication load compared with a communication system without sampling and prediction. For example, the average communication load can be reduced up to 87% when the track error constraint is 0.002 degrees. (4) Our policy outperforms the benchmark with the static sampling rate and prediction horizon optimized by exhaustive search, in terms of the tail probability of the tracking error. Furthermore, with the assistance of expert knowledge, the proposed algorithm KC-TD3 achieves better convergence time, stability, and final policy performance.

研究の動機と目的

• メタバースにおける実世界デバイスとデジタルモデルの同期を、通信オーバーヘッドを最小限に抑えて実現すること。
• 遅延やパケット損失などのネットワーク制約が存在しても、低トラッキング誤差（MSE）を維持すること。
• 効率性と信頼性の向上を図るため、サンプリングレート、通信、予測期間を共同最適化すること。
• システムのダイナミクスと制約に応じて動的に適応する強化学習ベースのポリシーを開発すること。
• 実際のロボットアームとデジタルツインプロトタイプを用い、現実的なネットワーク環境下でフレームワークを検証すること。

提案手法

• リアルタイムのメタバース同期を実現するため、サンプリング、通信、予測を統合的に最適化する共同設計フレームワークを提案する。
• 熟練知識を統合し、探索をガイドするとともにMSE制約を強制する、制約付き深層強化学習（DRL）アルゴリズムKC-TD3を導入する。
• 長期予測意思決定を可能にするために、履歴軌道、予測状態、システムパラメータを含む状態を用いたマルコフ意思決定過程の定式化を行う。
• 安定した学習を可能にするために、非相関時間に基づく観測期間を採用し、マルコフ性を確保する。
• 通信負荷とトラッキング誤差の両方をペナルティ化した報酬関数を設計し、制約はペナルティベースの手法で強制する。
• 変動するパケット損失率とMSE制約を想定した実際のロボットアームとデジタルツインシステムを用い、フレームワークを検証する。

Figure 1: Proposed co-design framework to synchronize a real-world device and its digital model in the metaverse.

実験結果

リサーチクエスチョン

• RQ1 サンプリング、通信、予測の共同設計フレームワークは、メタバース同期において通信負荷を著しく削減しつつ、低トラッキング誤差を維持できるか？
• RQ2 KC-TD3アルゴリズムは、網羅的探索で最適化された静的ポリシーと比較して、収束性、安定性、トラッキング誤差分布の観点でどのように性能を発揮するか？
• RQ3 フレームワークはどのような条件下で、純粋なサンプリング・通信共同設計、または予測・通信共同設計に退化するか？
• RQ4 熟練知識は、DRLエージェントの収束速度および最終的なポリシー性能にどの程度向上効果をもたらすか？
• RQ5 実世界の通信チャネルにおける変動するパケット損失確率下で、システムはどのように性能を発揮するか？

主な発見

• KC-TD3アルゴリズムは、平均トラッキング誤差制約が0.002°の条件下で、平均通信負荷を最大87％まで削減し、ベースラインシステムを著しく上回る性能を示した。
• MSE制約が厳しく（0.002°）な状況では、ポリシーは純粋なサンプリング・通信共同設計に類似した挙動に収束し、その適応性が裏付けられた。
• やや緩い制約（0.007°）下では、ポリシーは予測・通信共同設計にシフトし、許容範囲内であれば予測を活用できる能力を示した。
• KC-TD3は、網羅的探索に基づく静的ポリシーと比較して、トラッキング誤差のテール確率性能が優れており、より一貫性があり信頼性の高い同期が実現可能であることを示した。
• 熟練知識を活用することで、KC-TD3は収束が速く、より安定し、制約なしDRLベースラインと比較して優れた最終的ポリシー性能を達成した。
• 10％のパケット損失下でも、KC-TD3はベースラインと比較して、正規化された通信負荷を最大75％まで削減し、平均トラッキング誤差0.002°を維持した。

Figure 2: The timing sequence of the proposed co-design framework (The senor belongs to the real world device for data generation and the transmitter belongs to a local server. The receiver and functions for construction and predication are deployed at the cloud server that operates the metaverse).