[論文レビュー] Immersive Media and Massive Twinning: Advancing Towards the Metaverse

Wassim Hamidouche, Lina Bariah+1 more|arXiv (Cornell University)|Jul 4, 2023

Virtual Reality Applications and Impacts被引用数 5

ひとこと要約

本稿は、メタバースにおける没入型マルチメディア通信のためのフレームワークを提案し、3次元メディア、デジタルツイン、6Gを含む先進的な無線技術に焦点を当て、物理的・デジタル環境間でのリアルタイムで高精細な相互作用を実現することを目的としている。3次元データ処理、符号化、伝送、レンダリングにおける主な課題を特定し、超低遅延およびスペクトル効率を達成するため、意味的・ホログラフィック的・目的指向の通信を提唱する。

ABSTRACT

The advent of the Metaverse concept has further expedited the evolution of haptic, tactile internet, and multimedia applications with their VR/AR/XR services, and therefore, fully-immersive sensing is most likely to define the next generation of wireless networks as a key to realize the speculative vision of the Metaverse. In this magazine, we articulate different types of media that we envision will be communicated between the cyber and physical twins in the Metaverse. In particular, we explore the advantages grasped by exploiting each kind, and we point out critical challenges pertinent to 3D data processing, coding, transporting, and rendering. We further shed light on the role of future wireless networks in delivering the anticipated quality of immersion through the reliable streaming of multimedia signals between the digital twin and its physical counterpart. Specifically, we explore emergent communication paradigms, including semantic, holographic, and goal-oriented communication, which we expect to realize energy and spectrally efficient Metaverse while ensuring ultra-low latency.

研究の動機と目的

• 没立体メディアおよびデジタルツイン技術がメタバースビジョンをどのように前進させるかを定義すること。
• リアルタイムのメタバースアプリケーションに向けた3次元メディア処理、符号化、伝送、レンダリングにおける重要な課題を特定すること。
• 将来の無線ネットワーク、特に6Gが、没立体マルチメディアの超信頼性・低遅延伝送を可能にする役割を分析すること。
• 効率的なメタバース運用のため、意味的・ホログラフィック的・目的指向の通信といった新たな通信パラダイムを検討すること。
• 大規模なメタバース展開における倫理的・プライバシー的および体験品質（QoE）の課題を強調すること。

提案手法

• 3次元ビジュアルコンテンツ、ライトフィールド、ポイントクラウド、デジタルホログラムを含む、さまざまな没立体メディアモダリティを分類および評価する。
• ISO/IEC 21794-1 から 21794-6 までの標準仕様を分析し、3次元メディアの圧縮および伝送に焦点を当て、特に JPEG Pleno を重点的に検討する。
• 物理的スクリーンを必要としない3次元表示のため、空間光変調器（SLMs）と数値再構成技術を用いたデジタルホログラフィーの利用を提言する。
• エネルギーおよびスペクトル効率を最適化するため、意味的・ホログラフィック的・目的指向の通信といった先進的な無線通信パラダイムを導入する。
• エッジコンピューティングおよび統合センシングと通信（ISAC）を統合した6Gネットワークの統合を評価し、低遅延・高スルーレット伝送を実現する。
• 高解像度のヒューマルおよびマルチメディアセンシングを用いて、物理的ツイン（PTs）とサイバーツイン（CTs）間の双方向通信を可能にするシステムレベルのフレームワークを提言する。

Figure 1: Immersive Media for Digital Twin: Opportunities, Limitations, 6G Technologies, and Challenges.

実験結果

リサーチクエスチョン

• RQ1 ライトフィールド、ポイントクラウド、デジタルホログラムといった3次元ビジュアルメディアモダリティは、メタバースにおいてどのように効果的に符号化・伝送・レンダリングされるか。
• RQ2 物理的ツインとデジタルツイン間でリアルタイムかつ高精細な没立体マルチメディアストリーミングを実現するにあたり、主な技術的課題は何か。
• RQ3 意味的・ホログラフィック的・目的指向の通信といった新たな無線通信パラダイムは、メタバース通信の効率性および信頼性をどのように向上させるか。
• RQ4 6Gネットワークおよび統合センシングと通信（ISAC）は、没立体メディアの超低遅延・高スルーレット伝送を実現するために果たす役割は何か。
• RQ5 多数のセンサーと生体認証データ収集が行われる大規模なメタバースにおいて、プライバシー、セキュリティ、倫理的懸念はどのように解決されるべきか。

主な発見

• デジタルホログラフィーは波面再構成を用いて自由空間に3次元シーンを表現可能であるが、SLMの解像度制限および高い計算複雑性が課題となる。
• ISO/IEC 21794-5 および 21794-6 は、デジタルホログラムおよびポイントクラウドの符号化と再構成を標準化しており、NRSHソフトウェアにより正確な数値再構成が可能である。
• ホログラフィック再構成は深刻な aliasing と スペックルノイズに苦しんでおり、画像品質を低下させ、実用的展開を制限している。
• 6Gネットワークは、超低遅延、高スルーレット、大規模接続性という点で、メタバースの要件を満たすために不可欠である。
• 意味的および目的指向の通信は、高品質な没立体体験を維持しつつ、スペクトルおよびエネルギーコストを削減する有望なパラダイムである。
• メタバースにおけるユーザーの体験品質（QoE）は、動画／音声品質、遅延、ジターレート、ディスプレイ快適性の共同最適化に依存しており、新たなQoE推定モデルの開発が求められる。

Figure 2: Viewing degrees of freedom (DoF) enabled by 3D visual modalities.