[論文レビュー] Mulsemedia Communication Research Challenges for Metaverse in 6G Wireless Systems

Ian F. Akyildiz, Hongzhi Guo+2 more|arXiv (Cornell University)|Jun 28, 2023

Energy Harvesting in Wireless Networks参考文献 61被引用数 5

ひとこと要約

本稿は、視覚、聴覚、触覚、臭覚、味覚を統合するマルチセンサリー通信（mulsemedia）が、6G無線システムにおける没入型メタバース体験に不可欠であると特定する。6Gの高帯域幅、超低遅延、知能的なネットワーキングにより、リアルタイムで同期されたマルチセンサリーコンテンツの配信が可能になると提案する。研究分野はQoE最適化、エッジコンピューティング、AI駆動のリソース管理に集約される。

ABSTRACT

Although humans have five basic senses, sight, hearing, touch, smell, and taste, most multimedia systems in current systems only capture two of them, namely, sight and hearing. With the development of the metaverse and related technologies, there is a growing need for a more immersive media format that leverages all human senses. Multisensory media(Mulsemedia) that can stimulate multiple senses will play a critical role in the near future. This paper provides an overview of the history, background, use cases, existing research, devices, and standards of mulsemedia. Emerging mulsemedia technologies such as Extended Reality (XR) and Holographic-Type Communication (HTC) are introduced. Additionally, the challenges in mulsemedia research from the perspective of wireless communication and networking are discussed. The potential of 6G wireless systems to address these challenges is highlighted, and several research directions that can advance mulsemedia communications are identified.

研究の動機と目的

• 視覚と聴覚のみをサポートする現在のマルチメディアシステムの限界を解消するため、人間の全感覚を活用するマルチセンサリー（mulsemedia）通信の発展を目的とする。
• 特にメタバースと6Gシステムの文脈において、mulsemediaのための無線通信およびネットワーキング分野における主な研究的課題を特定すること。
• 6G無線システムが、5つの人間の感覚をカバーするリアルタイムで同期されたマルチセンサリーコンテンツのモバイル配信をどのように可能にするかを検討すること。
• 高精細なmulsemediaストリーミングを支援するためのQoEモデリング、エッジコンピューティング、AI駆動ネットワーク管理における研究方向性を提案すること。
• XR、HTC、および大規模言語モデルといった新興技術が、次世代の没入型通信システムを実現する上で果たす役割を強調すること。

提案手法

• 感覚源、6G対応ネットワーク、および宛先でのマルチセンサリーレンダリングを統合するmulsemedia通信システムアーキテクチャを提案する。
• リアルタイムでの3次元視覚、ヒューティル、臭覚、聴覚データ処理のためのエンドツーエンド遅延を低減するため、モバイルエッジコンピューティングの活用を提言する。
• 大規模言語モデル（LLMs）および専用の大規模データ通信モデル（LDCMs）を活用し、mulsemediaシステムにおける自律的ネットワーク設定、リソーススケジューリング、自己修復を実現する。
• 主観的および客観的フィードバック（生体信号や生理的反応を含む）に基づくQoEモデリングを採用し、複数の感覚モalityにわたるユーザー体験を定量化する。
• 遅延を最小限に抑えるための通信と計算の共同最適化を提案する。軽量アルゴリズムとクラウドまたはエッジへの知能的なオフロードを活用する。
• THzチャネル特性や干渉などの物理層特性に基づく波形および送信パrameterの最適化を提案し、QoEを向上させる。

実験結果

リサーチクエスチョン

• RQ1 6G無線システムは、人間の5つの感覚にわたるリアルタイムで同期されたマルチセンサリーコンテンツ配信を実現するために、現在の通信およびネットワーキングの制限をどのように克服できるか？
• RQ2 没入型メタバースアプリケーションをサポートするにあたり、mulsemedia通信における主な性能要件（遅延、帯域幅、同期性）は何か？
• RQ3 AI駆動モデル（LLMsやLDCMsを含む）は、mulsemediaネットワークにおけるリソース割り当ての自律的管理とQoE最適化にどのように活用できるか？
• RQ4 エッジコンピューティングは、高精細でインタラクティブなmulsemedia体験のためのエンドツーエンド遅延を低減する上で果たす役割は何か？
• RQ5 送信電力、干渉、大気吸収（例：THz帯域）などの物理層パrameterは、mulsemediaサービスのQoEにどのように影響を与えるか？

主な発見

• mulsemedia通信は、視覚と聴覚を超える人間の複数の感覚を活用することで、品質（QoE）を顕著に向上させる。これはプロトタイプシステムの実装によって裏付けられている。
• 6G無線システムは、没入型メタバースアプリケーションに不可欠なマルチセンサリー・データのモバイル、低遅延、高帯域幅伝送を実現するために不可欠である。
• 視覚、聴覚、触覚、臭覚、味覚の5つの感覚の同期は、極めて低く、同一の遅延を維持する必要がある。これにより、知覚の正確性が保証される。
• エッジコンピューティングと知能的なオフロードは、XRやHTCのようなインタラクティブなmulsemediaアプリケーションの厳しい遅延要件を満たすために不可欠である。
• 大規模言語モデル（LLMs）および専用の大規模データ通信モデル（LDCMs）は、自己設定、自己修復、動的リソーススケジューリングを含む自律的ネットワーク管理を可能にする。
• 物理層パrameterと生体信号を統合したQoEモデリングにより、mulsemedia伝送および波形設計のデータドリブン最適化が可能となり、ユーザー満足度の向上が図れる。