[논문 리뷰] Volumetric video streaming: Current approaches and implementations

Irene Viola, Pablo César|arXiv (Cornell University)|2022. 09. 05.

Video Coding and Compression Technologies인용 수 6

한 줄 요약

이 논문은 대역폭 제약과 저성능 장치에서 저지연, 고품질의 6DoF 경험을 가능하게 하기 위해 체적 영상 스트리밍을 위한 현재의 접근 방식과 구현을 검토한다. 주요 기여는 DASH 기반 및 옥트리 구조 인코딩 시스템인 Nebula와 GROOT의 분석으로, 이는 뷰포인트 인식 전달과 점진적 디코딩을 통해 대역폭과 계산 부담을 줄인다.

ABSTRACT

The rise of capturing systems for objects and scenes in 3D with increased fidelity and immersion has led to the popularity of volumetric video contents that can be seen from any position and angle in 6 degrees of freedom navigation. Such contents need large volumes of data to accurately represent the real world. Thus, novel optimization solutions and delivery systems are needed to enable volumetric video streaming over bandwidth-limited networks. In this chapter, we discuss theoretical approaches to volumetric video streaming optimization, through compression solutions, as well as network and user adaptation, for high-end and low-powered devices. Moreover, we present an overview of existing end-to-end systems, and we point to the future of volumetric video streaming.

연구 동기 및 목표

• 대역폭과 장치 제약 하에서 체적 영상 스트리밍을 최적화하기 위한 현재의 이론적 및 실용적 접근 방식을 분석하기 위해.
• 소비자 네트워크를 통해 고해상도 6DoF 체적 콘텐츠를 전달할 때 발생하는 주요 과제를 규명하기 위해.
• 몰입형 애플리케이션을 위한 포인트 클라우드와 메쉬의 실시간, 적응형 스트리밍을 가능하게 하는 종단 간 시스템을 평가하기 위해.
• 사용자 행동 모델링, 뷰포인트 예측 및 엣지 렌더링이 QoE 향상에 미치는 역할을 부각하기 위해.
• 콘텐츠 모델링, 네비게이션 데이터셋 및 상호작용 가능한 체적 경험 분야의 향후 연구 필요성을 요약하기 위해.

제안 방법

• 압축, 타일링, 적응형 전달 전략에 중점을 두어 기존 체적 영상 스트리밍 시스템을 분석하기 위한 서베이 기반의 방법론을 활용한다.
• Nebula 시스템에서 실현한 DASH 기반 점진적 스트리밍과 계층적 인코딩 방식을 검토한다. 이는 모바일 포인트 클라우드 전달에 적용된다.
• 옥트리 기반 계층적 인코딩 및 디코딩을 사용하여 빠르고 뷰포인트 예측 기반의 렌더링을 가능하게 하는 GROOT 아키텍처를 분석한다.
• 비디오의 가시 영역 외부 영역을 제거함으로써 렌더링 부담을 줄이기 위해 프루스트 침범 및 깊이 기반 샘플링을 적용한다.
• 사용자 움직임과 시야 범위를 기반으로 관련 3D 데이터의 전송 우선순위를 정하기 위해 뷰포인트 및 대역폭 예측을 통합한다.
• 모바일 장치의 디코딩 및 렌더링을 외부로 이관하기 위해 엣지 기반 렌더링을 평가한다. 이는 지연과 전력 소비를 감소시킨다.

실험 결과

연구 질문

• RQ1 어떻게 하면 대역폭 제약이 있는 네트워크에서 시각적 품질을 유지하면서 체적 영상 스트리밍을 최적화할 수 있는가?
• RQ2 사용자 뷰포인트 예측은 데이터 전송 및 렌더링 부담을 줄이는 데 어떤 역할을 하는가?
• RQ3 옥트리와 같은 계층적 데이터 구조는 디코딩 효율성을 어떻게 향상시키고, 빠르고 선택적 렌더링을 가능하게 하는가?
• RQ4 어떻게 엣지 및 클라우드 렌더링이 저성능 모바일 장치에서의 체적 영상 스트리밍 가능성을 높이는가?
• RQ5 사용자 행동 모델링 및 상호작용 콘텐츠 통합 측면에서 현재 시스템의 주요 격차는 무엇인가?

주요 결과

• Nebula 시스템은 예측된 뷰포인트 기반으로 엣지 측에서 서브프레임을 렌더링하고 DASH 기반 계층적 인코딩을 사용함으로써 효율적인 모바일 체적 영상 스트리밍을 달성한다.
• GROOT 시스템은 루트에서 최대 깊이까지 옥트리 리프 노드를 독립적으로 인코딩함으로써 디코딩 지연과 계산 부담을 줄이며, 선택적 디코딩을 가능하게 한다.
• 프루스트 침범 및 깊이 기반 샘플링과 같은 뷰포인트 인식 기법은 처리되는 포인트 수를 크게 줄여 렌더링 성능 향상에 기여한다.
• 360도 영상에서 영감을 얻은 점진적 스트리밍 및 타일링 전략은 체적 영상에 대해서도 유망하지만, 향상된 사용자 운동 예측 모델이 필요하다.
• 엣지 렌더링은 클라이언트 측의 계산 부담을 줄여 제한된 처리 능력을 지닌 모바일 장치에서 실시간 6DoF 렌더링을 가능하게 한다.
• 현재 시스템은 사용자 네비게이션 패턴에 대한 종합적인 데이터셋이 부족하여 고도화된 예측 최적화 기법 개발에 제약이 있다.