[논문 리뷰] Rate-Utility Optimized Streaming of Volumetric Media for Augmented Reality

Jounsup Park, Philip A. Chou외 1명|arXiv (Cornell University)|2018. 04. 26.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 증강현실에서 부피형 미디어를 스트리밍하기 위한 새로운 스트리밍 시스템을 제안하며, 3D 타일, 시야에 의존하는 컬링 및 수준의 디테일 적응 기법, 지연을 줄이기 위한 창 기반 버퍼를 사용하여 품질과 대역폭을 최적화한다. 이 시스템은 품질, 시야의 관련성, 기기 해상도를 균형 잡는 데 성공한 탐욕스럽고 증명 가능하게 최적의 비율-유용도 알고리즘을 도입하여, 변동하는 네트워크 조건 하에서도 비디오 스트리밍 적응 기법보다 높은 유용도와 사용자 경험을 제공한다.

ABSTRACT

Volumetric media, popularly known as holograms, need to be delivered to users using both on-demand and live streaming, for new augmented reality (AR) and virtual reality (VR) experiences. As in video streaming, hologram streaming must support network adaptivity and fast startup, but must also moderate large bandwidths, multiple simultaneously streaming objects, and frequent user interaction, which requires low delay. In this paper, we introduce the first system to our knowledge designed specifically for streaming volumetric media. The system reduces bandwidth by introducing 3D tiles, and culling them or reducing their level of detail depending on their relation to the user's view frustum and distance to the user. Our system reduces latency by introducing a window-based buffer, which in contrast to a queue-based buffer allows insertions near the head of the buffer rather than only at the tail of the buffer, to respond quickly to user interaction. To allocate bits between different tiles across multiple objects, we introduce a simple greedy yet provably optimal algorithm for rate-utility optimization. We introduce utility measures based not only on the underlying quality of the representation, but on the level of detail relative to the user's viewpoint and device resolution. Simulation results show that the proposed algorithm provides superior quality compared to existing video-streaming approaches adapted to hologram streaming, in terms of utility and user experience over variable, throughput-constrained networks.

연구 동기 및 목표

• 저지연, 적응형 부피형 미디어 스트리밍의 과제를 해결하기 위해 고대역폭, 빠른 시작, 사용자 상호작용에 대한 민감성 요구 사항을 충족시키는 것.
• 사용자 시야 부채와 거리 기반으로 3D 타일링과 동적 컬링을 통해 대역폭 소비를 줄이는 것.
• 기존의 큐 기반 버퍼링을 창 기반 버퍼로 대체하여 사용자 상호작용에 대한 반응 속도를 높이는 것.
• 품질, 수준의 디테일, 기기 해상도를 포함한 유용도 모델을 사용하여 다중 객체 및 타일 간 비트 할당을 최적화하는 것.
• 변동하는 대역폭 제약 조건이 있는 네트워크 환경에서 시스템 성능을 비디오 스트리밍 적응 기법과 비교 평가하는 것.

제안 방법

• 시스템은 부피형 미디어를 3D 타일로 분할하여 사용자에 대한 공간적 관련성에 따라 선택적 전송을 가능하게 한다.
• 시야 부채 컬링과 거리 기반 수준의 디테일(LOD) 감소를 적용하여 시야 외부 또는 먼 거리에 있는 객체의 데이터 전송을 최소화한다.
• 창 기반 버퍼 구조를 통해 재생 헤드 근처에 새로운 데이터를 삽입할 수 있어 낮은 지연을 달성한다.
• 탐욕스럽고 증명 가능하게 최적의 비율-유용도 최적화 알고리즘을 사용하여 타일 간 비트 할당을 최적화하며, 품질, LOD, 기기 해상도에 기반한 유용도를 극대화한다.
• 유용도는 표현 품질, 사용자 시야에 대한 타일의 LOD, 대상 기기의 디스플레이 해상도에 따라 함수로 모델링된다.
• 변동하는 네트워크 조건 하에서 시뮬레이션을 통해 유용도와 사용자 경험 측면에서 비디오 스트리밍 적응 기법과의 성능을 비교 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 부피형 미디어를 최소한의 대역폭과 낮은 지연으로 AR 환경에서 효율적으로 스트리밍할 수 있는가?
• RQ2 다양한 수준의 디테일과 시야 관련성에 따라 여러 3D 타일 간 비트 할당을 최적화하는 방법은 무엇인가?
• RQ3 창 기반 버퍼는 전통적인 큐 기반 버퍼링 대비 상호작용이 많은 AR 시나리오에서 반응성을 어떻게 향상시키는가?
• RQ4 제안된 비율-유용도 최적화 기법은 비디오 스트리밍 적응 기법 대비 사용자 경험을 얼마나 향상시키는가?
• RQ5 시야에 의존하는 컬링과 LOD 적응 기법은 부피형 AR 스트리밍에서 대역폭과 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 비율-유용도 최적화 알고리즘은 타일 간 비트 할당에 대해 탐욕스럽고 증명 가능하게 최적의 성능을 보이며, 대역폭 제약 조건 하에서도 최대 유용도를 보장한다.
• 창 기반 버퍼는 재생 헤드 근처에 삽입이 가능하여 사용자 상호작용에 대한 반응 속도를 높여, 인식된 지연을 감소시킨다.
• 시야에 의존하는 컬링과 LOD 적응 기법은 인식되는 품질을 훼손하지 않으면서 대역폭 소비를 크게 줄인다.
• 시뮬레이션 결과, 제안된 시스템은 변동하는 대역폭 제약 조건이 있는 네트워크 환경에서 비디오 스트리밍 적응 기법보다 높은 유용도와 더 나은 사용자 경험을 달성한다.
• 시야 관련성과 기기 해상도를 포함한 유용도 모델은 더 정확한 시각적 자원 할당과 효율성을 이끈다.
• 시스템은 낮은 지연과 높은 적응성 유지와 함께 동시에 스트리밍되는 다수의 부피형 객체를 효과적으로 지원한다.