[논문 리뷰] Spatiotemporal Rate Adaptive Tiled Scheme for 360 Sports Events

Tarek El-Ganainy|arXiv (Cornell University)|2017. 05. 14.

Image and Video Quality Assessment참고 문헌 12인용 수 5

한 줄 요약

이 논문은 스포츠 이벤트에 특화된 고동작 및 방향성 집중 콘텐츠를 고려해, 360도 스포츠 영상 스트리밍을 위한 새로운 $tiled\_cubemap$ 타일링 방법을 사용하여 서버 스토리지 용량을 오프셋 큐브맵 대비 최대 670%까지 감소시키는 공간-시간 비율 적응형 타일링 스트리밍 기법을 제안한다. 이 방법은 사용자 대역폭과 시야 방향에 따라 타일의 품질 수준을 동적으로 할당함으로써, 시야 영역에서 주변으로 향하는 부드러운 품질 저하를 가능하게 한다.

ABSTRACT

The recent rise of interest in Virtual Reality (VR) came with the availability of commodity commercial VR products, such as the Head Mounted Displays (HMD) created by Oculus and other vendors. One of the main applications of virtual reality that has been recently adopted is streaming sports events. For instance, the last olympics held in Rio De Janeiro was streamed over the Internet for users to view on VR headsets or using 360 video players. A big challenge for streaming VR sports events is the users limited bandwidth and the amount of data required to transmit 360 videos. While 360 video demands high bandwidth, at any time instant users are only viewing a small portion of the video according to the HMD field of view (FOV). Many approaches have been proposed in the literature such as proposing new representations (e.g. pyramid and offset-cubemap) and tiling the video and streaming the tiles currently being viewed. In this paper, we propose a tiled streaming framework, where we provide a degrading quality model similar to the state-of-the-art offset-cubemap while minimizing its storage requirements at the server side. We conduct objective studies showing the effectiveness of our approach providing smooth degradation of quality from the user FOV to the back of the 360 space. In addition, we conduct subjective studies showing that users tend to prefer our proposed scheme over offset-cubemap in low bandwidth connections, and they don't feel difference for higher bandwidth connections. That is, we achieve better perceived quality with huge storage savings up to 670%.

연구 동기 및 목표

• 스포츠 이벤트를 위한 360도 영상 스트리밍의 높은 대역폭 및 스토리지 요구량을 해결하기 위해.
• 제한된 대역폭 조건에서도 높은 시각적 품질을 유지하면서 서버 스토리지 오버헤드를 줄이기 위해.
• 사용자 시야 및 네트워크 조건에 따라 타일 간의 부드러운 품질 전환을 지원하는 타일링 및 비율 적응 프레임워크를 개발하기 위해.
• 최신 기술인 오프셋 큐브맵과의 비교를 통해 주관적 및 객관적 품질 평가에서 제안된 방법의 성능을 평가하기 위해.

제안 방법

• 스포츠 이벤트 콘텐츠의 고속도 및 방향성 집중 특성을 고려해, 큐브맵 투영을 사용하여 360도 영상을 타일로 분할하는 새로운 $tiled\_cubemap$ 타일링 기법을 도입한다.
• 기존의 QP 기반 모델이 아닌 품질 기반 비율 적응 모델을 활용하여 타일의 품질 수준에 대한 더 세밀한 제어를 가능하게 한다.
• 가용 대역폭에 따라 사용자의 현재 시야 영역 타일에 높은 품질을 할당하고, 주변으로 갈수록 점진적으로 품질을 낮추는 공간-시간 비율 적응 알고리즘을 수립한다.
• 10명의 참가자를 대상으로 이중 자극 주관 테스트(DSCQS)를 실시하여, 다양한 대역폭 조건에서 $tiled\_cubemap$와 오프셋 큐브맵 간의 시각적 품질을 비교한다.
• 각 품질 수준당 타일을 한 번만 저장함으로써, 3개의 대역폭 프로파일에 대해 총 6회 저장으로, 오프셋 큐브맵이 동일한 설정에서 90개의 별도 인코딩 버전이 필요한 것과 대비해 스토리지 요구량을 줄인다.
• PSNR 및 SSIM 등의 지표를 사용한 객관적 품질 평가를 통해 다양한 네트워크 조건에서의 성능을 검증한다.

실험 결과

연구 질문

• RQ1 타일링 큐브맵 기반의 타일링 기법은 360도 영상 스트리밍의 서버 스토리지 요구량을 줄일 수 있을까? 이때도 고도로 높은 시각적 품질을 유지할 수 있는가?
• RQ2 제안된 공간-시간 비율 적응 알고리즘이 QP 기반 모델 대비 객관적 영상 품질 지표에서 어떤 성능을 보이는가?
• RQ3 저대역폭 조건에서 $tiled\_cubemap$ 방법은 최신 기술인 오프셋 큐브맵 대비 더 나은 또는 동등한 주관적 품질을 제공하는가?
• RQ4 제안된 방법은 360도 스포츠 영상 스트리밍에서 사용자 경험을 훼손하지 않으면서 스토리지 오버헤드를 어느 정도까지 줄일 수 있는가?

주요 결과

• $tiled\_cubemap$ 방법은 오프셋 큐브맵 대비 서버 스토리지 요구량을 최대 670%까지 감소시켰으며, 이는 3개의 대역폭 프로파일과 30개의 뷰포트를 고려할 때 오프셋 큐브맵이 90개의 별도 인코딩 버전이 필요한 것과 대비된다.
• 주관적 테스트 결과, 저대역폭 조건에서 $tiled\_cubemap$는 오프셋 큐브맵 대비 양성의 평균 의견 점수 차이(DMOS)를 기록하여 사용자들이 제안된 방법을 선호함을 시사한다.
• 고대역폭 조건에서는 $tiled\_cubemap$와 오프셋 큐브맵 간에 시각적 품질에 유의미한 차이가 없었으며, 최적 조건에서 동일한 사용자 경험을 제공함을 의미한다.
• 객관적 평가 결과, 품질 기반 비율 적응 모델이 모든 네트워크 조건에서 기존 QP 기반 모델 대비 PSNR 및 SSIM 측면에서 뛰어난 성능을 보였다.
• 콘텐츠나 시청 이력에 기반한 타일 우선순위 설정이 가능하여, 사용자 행동의 동적 변화에 대한 적응성이 향상된다.
• 제안된 프레임워크는 사용자 시야 영역에서 주변으로 향하는 부드러운 품질 저하를 지원하여, 균일하거나 급격한 품질 전환 대비 시각적 잡음을 줄였다.