[논문 리뷰] Immersive Media and Massive Twinning: Advancing Towards the Metaverse

Wassim Hamidouche, Lina Bariah외 1명|arXiv (Cornell University)|2023. 07. 04.

Virtual Reality Applications and Impacts인용 수 5

한 줄 요약

이 논문은 메타버스에서의 몰입형 다중미디어 통신을 위한 프레임워크를 제안하며, 3D 미디어, 디지털 트윈, 6G와 같은 고급 무선 기술을 강조하여 물리적 환경과 디지털 환경 간 실시간으로 고해상도 상호작용을 가능하게 한다. 3D 데이터 처리, 코딩, 전송, 렌더링 분야의 핵심 과제를 규명하고, 초저지연 및 스펙트럼 효율성을 달성하기 위해 의미론적, 허프만형, 목표 지향적 통신을 주장한다.

ABSTRACT

The advent of the Metaverse concept has further expedited the evolution of haptic, tactile internet, and multimedia applications with their VR/AR/XR services, and therefore, fully-immersive sensing is most likely to define the next generation of wireless networks as a key to realize the speculative vision of the Metaverse. In this magazine, we articulate different types of media that we envision will be communicated between the cyber and physical twins in the Metaverse. In particular, we explore the advantages grasped by exploiting each kind, and we point out critical challenges pertinent to 3D data processing, coding, transporting, and rendering. We further shed light on the role of future wireless networks in delivering the anticipated quality of immersion through the reliable streaming of multimedia signals between the digital twin and its physical counterpart. Specifically, we explore emergent communication paradigms, including semantic, holographic, and goal-oriented communication, which we expect to realize energy and spectrally efficient Metaverse while ensuring ultra-low latency.

연구 동기 및 목표

• 몰입형 미디어와 디지털 트윈 기술이 메타버스 비전을 발전시키는 데서 수행하는 역할을 정의하기 위해.
• 실시간 메타버스 응용을 위한 3D 미디어 처리, 코딩, 전송, 렌더링 분야의 핵심 과제를 규명하기 위해.
• 미래의 무선 네트워크—특히 6G—이 몰입형 다중미디어의 초신뢰성 있고 저지연 전송을 가능하게 하는 역할를 분석하기 위해.
• 에너지 및 스펙트럼 효율성을 높이기 위해 의미론적, 허프만형, 목표 지향적 통신과 같은 새로운 통신 패러다임을 탐색하기 위해.
• 대규모 메타버스 구현에서 윤리적, 개인정보 보호 및 경험 품질(QoE) 과제를 부각하기 위해.

제안 방법

• 3D 시각 콘텐츠, 라이트 필드, 포인트 클라우드, 디지털 홀로그램을 포함한 다양한 몰입형 미디어 모odalities를 분류하고 평가한다.
• ISO/IEC 21794-1에서 21794-6까지의 3D 미디어 압축 및 전송 표준을 분석하며, 특히 JPEG Pleno에 중점을 둔다.
• 물리적 스크린 없이도 3D 디스플레이를 가능하게 하기 위해 공간 빛 조절 장치(SLM)와 수치 재구성 기법을 활용한 디지털 홀로그래피의 사용을 제안한다.
• 에너지 및 스펙트럼 효율성을 최적화하기 위해 의미론적, 허프만형, 목표 지향적 통신과 같은 고급 무선 통신 패러다임을 도입한다.
• 에지 컴퓨팅과 통합 센싱 및 통신(ISAC)을 통합한 6G 네트워크의 통합을 평가하여 저지연, 고-throughput 전송을 실현한다.
• 고해상도 촉각 및 다중미디어 센싱을 활용한 물리적 트윈(PT)과 사이버 트윈(CT) 간 이원적 통신을 위한 시스템 수준의 프레임워크를 제안한다.

Figure 1: Immersive Media for Digital Twin: Opportunities, Limitations, 6G Technologies, and Challenges.

실험 결과

연구 질문

• RQ1 라이트 필드, 포인트 클라우드, 디지털 홀로그램과 같은 3D 시각 미디어 모달리티는 메타버스에서 효과적으로 코딩, 전송, 렌더링될 수 있는가?
• RQ2 물리적 트윈과 디지털 트윈 간 실시간 고해상도 스트리밍을 구현하기 위한 핵심 기술적 과제는 무엇인가?
• RQ3 의미론적, 허프만형, 목표 지향적 통신과 같은 새로운 무선 통신 패러다임은 메타버스 통신의 효율성과 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ4 6G 네트워크와 통합 센싱 및 통신(ISAC)은 몰입형 미디어에 대한 초저지연 및 고-throughput 전송을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 대규모 센서 배치와 생체 정보 수집이 수반되는 대규모 메타버스 환경에서 개인정보 보호, 보안 및 윤리적 문제는 어떻게 해결할 수 있는가?

주요 결과

• 디지털 홀로그래피는 웨이브프론트 재구성 기법을 통해 자유 공간에서 3D 시각을 표현할 수 있으나, SLM 해상도 제약과 높은 계산 복잡도로 인해 한계가 있다.
• ISO/IEC 21794-5 및 21794-6 표준은 디지털 홀로그램과 포인트 클라우드의 코딩 및 재구성 방식을 표준화하며, NRSH 소프트웨어를 통해 정확한 수치 재구성을 가능하게 한다.
• 홀로그램 재구성 과정에서 심각한 앨리어싱과 스펙클 노이즈가 발생하여 화질이 떨어지고 실용적 구현에 제약을 가한다.
• 6G 네트워크는 초저지연, 고-throughput, 대규모 연결성 요구사항을 충족하기 위해 메타버스의 핵심 요소로 필수적이다.
• 의미론적 및 목표 지향적 통신은 높은 품질의 몰입형 경험을 유지하면서도 스펙트럼 및 에너지 비용을 줄이는 데 유망한 패러다임이다.
• 메타버스에서 사용자 경험 품질(QoE)은 영상/음성 품질, 지연, 지터, 디스플레이 편안함의 종합 최적화에 따라 달라지며, 새로운 QoE 추정 모델이 필요하다.

Figure 2: Viewing degrees of freedom (DoF) enabled by 3D visual modalities.