[논문 리뷰] HTML5 MSE playback of MPEG 360 VR tiled streaming: JavaScript implementation of MPEG-OMAF viewport-dependent video profile with HEVC tiles

Dimitri Podborski, Jangwoo Son외 5명|arXiv (Cornell University)|2019. 06. 18.

Video Coding and Compression Technologies인용 수 3

한 줄 요약

이 논문은 HTML5 미디어 소스 확장자(MSE)와 WebGL을 사용하여 브라우저 기반으로 진행되는 고급 HEVC 기반 시야각 의존적 OMAF 영상 프로파일을 360° VR 스트리밍에 적용한 클라이언트 측 구현을 제시한다. Safari에서 실시간으로 다중 해상도 HEVC 영상 타일을 영역별로 편집하여 렲행하는 것을 가능하게 하였으며, 표준 준수 가능한 클라이언트 측 자바스크립트 환경에서 브라우저의 제약을 극복하기 위해 특수하게 설계된 대체 방법을 사용하였다.

ABSTRACT

Virtual Reality (VR) and 360-degree video streaming have gained significant attention in recent years. First standards have been published in order to avoid market fragmentation. For instance, 3GPP released its first VR specification to enable 360-degree video streaming over 5G networks which relies on several technologies specified in ISO/IEC 23090-2, also known as MPEG-OMAF. While some implementations of OMAF-compatible players have already been demonstrated at several trade shows, so far, no web browser-based implementations have been presented. In this demo paper we describe a browser-based JavaScript player implementation of the most advanced media profile of OMAF: HEVC-based viewport-dependent OMAF video profile, also known as tile-based streaming, with multi-resolution HEVC tiles. We also describe the applied workarounds for the implementation challenges we encountered with state-of-the-art HTML5 browsers. The presented implementation was tested in the Safari browser with support of HEVC video through the HTML5 Media Source Extensions API. In addition, the WebGL API was used for rendering, using region-wise packing metadata as defined in OMAF.

연구 동기 및 목표

• 고급 HEVC 기반 시야각 의존적 OMAF 프로파일을 사용하여 표준 준수 가능한 클라이언트 측 360° VR 영상 재생을 웹 브라우저에서 가능하게 하기 위해.
• 특히 HEVC로 인코딩된 타일 기반 영상에 대해 가장 최신의 OMAF 미디어 프로파일을 위한 기존 웹 기반 구현이 부족한 문제를 해결하기 위해.
• 현대형 HTML5 브라우저에서 MSE와 WebGL을 사용하여 시야각 의존적, 다중 해상도 타일 기반 360° 영상 렌더링 시 발생하는 제약을 극복하기 위해.
• 표준 웹 브라우저 환경 내에서 OMAF 준수 360° VR 영상에 대한 완전 기능을 갖춘 실시간 재생 파이프라인을 구현하기 위해.

제안 방법

• 다중 해상도 HEVC 인코딩 영상 타일을 스트리밍하고 디코딩하기 위해 HTML5 미디어 소스 확장자(MSE) API를 기반으로 한 자바스크립트 기반 플레이어를 구현하였다.
• 렌더링을 위해 WebGL API를 사용하였으며, OMAF 표준에서 정의한 바와 같이 영역별 패킹 메타데이터를 적용하여 타일을 구면 영역에 매핑하였다.
• 현재 HTML5 브라우저에서 HEVC 디코딩 및 시야각 의존적 스트리밍 지원에 대한 제약을 보완하기 위해 브라우저별 특화된 대체 방법을 적용하였다.
• 사용자의 현재 시야각에 해당하는 타일만 동적으로 선택하고 스트리밍하여 대역폭과 성능을 최적화하는 클라이언트 측 아키텍처를 설계하였다.
• 사용자 머리 방향에 따라 영향을 받는 시야각 추적 기능을 통합하여, 필요한 영상 타일만 렌더링하도록 하였다.
• Safari에서 테스트를 수행하였으며, MSE API를 통해 Safari의 네이티브 HEVC 지원 기능을 활용하여 실시간 재생을 수행하였다.

실험 결과

연구 질문

• RQ1 현대 웹 브라우저에서 클라이언트 측 자바스크립트와 표준 웹 API만을 사용하여 표준 준수 가능한, 시야각 의존적 360° VR 영상 플레이어를 완전히 실현할 수 있는가?
• RQ2 현재 브라우저에서 HTML5 MSE와 WebGL을 사용하여 다중 해상도 HEVC 타일을 시야각 의존적으로 렌더링할 때 발생하는 주요 기술적 과제는 무엇인가?
• RQ3 HEVC 디코딩 및 타일 스트리밍에 대한 브라우저 제약을 어떻게 극복하여 OMAF 준수 360° VR 영상에 대해 실시간, 저지연 재생을 달성할 수 있는가?
• RQ4 브라우저 환경에서 영역별 타일 패킹과 WebGL을 사용하여 OMAF 시야각 의존적 영상 프로파일을 얼마나 효율적으로 렌더링할 수 있는가?
• RQ5 클라이언트 측 웹 환경에서 고급 OMAF 기능을 구현할 경우 발생하는 성능 및 호환성의 상충 관계는 어떠한가?

주요 결과

• 제안된 자바스크립트 구현은 표준 웹 API만을 사용하여 Safari 브라우저에서 HEVC 기반의 시야각 의존적 360° VR 영상 재생을 실시간으로 성공적으로 수행하였다.
• Safari에서 HEVC 디코딩 지원 기능을 갖춘 HTML5 MSE를 사용함으로써 다중 해상도 영상 타일의 저지연, 적응형 스트리밍이 가능하였다.
• OMAF 표준에서 정의한 바와 같이 영역별 타일 패킹 메타데이터를 효과적으로 활용하여 WebGL 렌더링 중에 타일을 구면 영역에 매핑하였다.
• 특정 브라우저의 제약을 보완하기 위해 브라우저별 대체 방법이 필요하였으며, 특히 시야각 의존적 타일 선택에 있어 제약이 있었다.
• 복잡한 OMAF 프로파일이 네이티브 플러그인이나 외부 종속성 없이도 웹 브라우저 내에서 네이티브로 렌더링될 수 있음을 입증하였다.
• 해당 솔루션은 브라우저 환경 내에서 완전히 기능하는, 표준 준수 가능한 OMAF 준수 360° VR 스트리밍 파이프라인을 달성하였다.