[논문 리뷰] Mulsemedia Communication Research Challenges for Metaverse in 6G Wireless Systems

Ian F. Akyildiz, Hongzhi Guo외 2명|arXiv (Cornell University)|2023. 06. 28.

Energy Harvesting in Wireless Networks참고 문헌 61인용 수 5

한 줄 요약

이 논문은 6G 무선 시스템에서 몽환적인 메타버스 경험을 위한 핵심 요소로 시각, 청각, 촉각, 후각, 미각을 통합하는 다감각 통신(mulsemedia)을 규명한다. 6G의 높은 대역폭, 초저지연 및 지능형 네트워킹이 실시간으로 동기화된 다감각 콘텐츠를 제공할 수 있음을 제안하며, QoE 최적화, 엣지 컴퓨팅, AI 기반 자원 관리 분야의 연구 방향을 제시한다.

ABSTRACT

Although humans have five basic senses, sight, hearing, touch, smell, and taste, most multimedia systems in current systems only capture two of them, namely, sight and hearing. With the development of the metaverse and related technologies, there is a growing need for a more immersive media format that leverages all human senses. Multisensory media(Mulsemedia) that can stimulate multiple senses will play a critical role in the near future. This paper provides an overview of the history, background, use cases, existing research, devices, and standards of mulsemedia. Emerging mulsemedia technologies such as Extended Reality (XR) and Holographic-Type Communication (HTC) are introduced. Additionally, the challenges in mulsemedia research from the perspective of wireless communication and networking are discussed. The potential of 6G wireless systems to address these challenges is highlighted, and several research directions that can advance mulsemedia communications are identified.

연구 동기 및 목표

• 현재의 멀티미디어 시스템이 시각과 청각 외에 다른 감각을 지원하지 못하는 한계를 해결하기 위해, 인간의 모든 감각을 동원하는 다감각 통신(mulsemedia) 기술을 발전시키는 것.
• 특히 메타버스 및 6G 시스템의 맥락에서 mulsemedia 통신을 위한 무선 통신 및 네트워킹 분야의 핵심 연구 과제를 규명하는 것.
• 6G 무선 시스템이 다섯 가지 인간 감각(시각, 청각, 촉각, 후각, 미각)을 실시간으로 동기화하여 이동성 있게 전달할 수 있도록 하는 방법을 탐색하는 것.
• 고정밀 다감각 스트리밍을 지원하기 위해 QoE 모델링, 엣지 컴퓨팅, AI 기반 네트워크 관리 분야의 연구 방향을 제안하는 것.
• XR, HTC, 대규모 언어 모델 등 신규 기술이 차세대 몽환적 통신 시스템을 가능하게 하는 역할을 강조하는 것.

제안 방법

• 감각 소스, 6G 기반 네트워크, 그리고 도착지에서의 다감각 렲상 기술을 통합한 mulsemedia 통신 시스템 아키텍처를 제안한다.
• 3차원 시각, 촉각, 후각, 청각 데이터의 실시간 처리를 위해 모바일 엣지 컴퓨팅을 활용하여 종단 간 지연을 최소화한다.
• 대규모 언어 모델(Large Language Models, LLMs)과 전용 대용량 데이터 통신 모델(Large Data Communication Models, LDCMs)을 활용하여 mulsemedia 시스템의 자율적 네트워크 설정, 자원 스케줄링, 자가 복구 기능을 실현한다.
• 주관적 및 객관적 피드백(생체 신호 및 생리적 반응 포함)을 기반으로 한 QoE 모델링을 통해 다양한 감각 모odalities에서의 사용자 경험을 정량화한다.
• 지연 최소화를 위해 통신과 계산의 공동 최적화를 제안하며, 경량 알고리즘과 클라우드 또는 엣지로의 지능형 오프로딩을 적용한다.
• THz 대역의 채널 특성 및 간섭과 같은 물리계층 특성을 바탕으로 파형 및 전송 파rameter 최적화를 제안하여 QoE 향상

실험 결과

연구 질문

• RQ1 6G 무선 시스템은 현재의 통신 및 네트워킹 한계를 어떻게 극복하여 다섯 가지 인간 감각(시각, 청각, 촉각, 후각, 미각)에 걸쳐 실시간으로 동기화된 다감각 콘텐츠를 전달할 수 있는가?
• RQ2 몽환적인 메타버스 애플리케이션을 지원하기 위해 mulsemedia 통신의 핵심 성능 요구사항(지연, 대역폭, 동기화)은 무엇인가?
• RQ3 AI 기반 모델(예: LLMs 및 LDCMs)은 mulsemedia 네트워크에서 자원 할당을 자율적으로 관리하고 QoE를 최적화하는 데 어떻게 활용될 수 있는가?
• RQ4 엣지 컴퓨팅은 고해상도 및 상호작용 가능한 mulsemedia 경험을 위한 종단 간 지연을 줄이는 데 어떤 역할을 하는가?
• RQ5 송신 전력, 간섭, 대기 흡수(예: THz 대역에서의)와 같은 물리계층 파rameter는 mulsemedia 서비스의 QoE에 어떤 영향을 미치는가?

주요 결과

• 프로토타입 시스템을 통해 시각과 청각 외의 감각까지 포함하는 mulsemedia 통신이 사용자 경험(QoE)을 크게 향상시킴을 입증함.
• 몽환적인 메타버스 응용을 위한 실시간, 저지연, 고대역폭 다감각 데이터 전송을 위해 6G 무선 시스템이 필수적임.
• 시각, 청각, 촉각, 후각, 미각의 다섯 감각 간 동기화가 매우 낮고 동일한 지연을 유지해야만 감각적 정밀도가 확보됨.
• XR 및 HTC와 같은 상호작용 가능한 mulsemedia 애플리케이션의 엄격한 지연 요구사항을 충족시키기 위해 엣지 컴퓨팅과 지능형 오프로딩이 핵심임.
• 대규모 언어 모델(Large Language Models, LLMs)과 전용 대용량 데이터 통신 모델(Large Data Communication Models, LDCMs)은 자율적 네트워크 관리(자기 설정, 자기 복구, 동적 자원 스케줄링 포함)를 가능하게 함.
• 물리계층 파rameter와 생체 신호를 통합한 QoE 모델링은 mulsemedia 전송 및 파형 설계의 데이터 기반 최적화를 가능하게 하여 사용자 만족도 향상