[论文解读] HTML5 MSE playback of MPEG 360 VR tiled streaming: JavaScript implementation of MPEG-OMAF viewport-dependent video profile with HEVC tiles

Dimitri Podborski, Jangwoo Son+5 more|arXiv (Cornell University)|Jun 18, 2019

Video Coding and Compression Technologies被引用 3

一句话总结

本文提出了一种基于浏览器的客户端实现，使用HTML5媒体源扩展（MSE）和WebGL，实现了基于高级HEVC的视口依赖型OMAF视频配置文件的360° VR流媒体播放。该实现展示了在Safari浏览器中对多分辨率HEVC视频块进行实时、区域化的瓦片渲染，通过针对视口依赖型流媒体的特定优化方案，克服了浏览器限制，在符合标准的客户端JavaScript环境中实现功能。

ABSTRACT

Virtual Reality (VR) and 360-degree video streaming have gained significant attention in recent years. First standards have been published in order to avoid market fragmentation. For instance, 3GPP released its first VR specification to enable 360-degree video streaming over 5G networks which relies on several technologies specified in ISO/IEC 23090-2, also known as MPEG-OMAF. While some implementations of OMAF-compatible players have already been demonstrated at several trade shows, so far, no web browser-based implementations have been presented. In this demo paper we describe a browser-based JavaScript player implementation of the most advanced media profile of OMAF: HEVC-based viewport-dependent OMAF video profile, also known as tile-based streaming, with multi-resolution HEVC tiles. We also describe the applied workarounds for the implementation challenges we encountered with state-of-the-art HTML5 browsers. The presented implementation was tested in the Safari browser with support of HEVC video through the HTML5 Media Source Extensions API. In addition, the WebGL API was used for rendering, using region-wise packing metadata as defined in OMAF.

研究动机与目标

• 在Web浏览器中使用基于高级HEVC的视口依赖型OMAF配置文件，实现符合标准的客户端360° VR视频播放。
• 解决当前尚无基于Web的实现方案来支持最先进OMAF媒体配置文件，特别是针对HEVC编码的分块视频。
• 克服现代HTML5浏览器在使用MSE和WebGL渲染视口依赖型、多分辨率分块360°视频时的限制。
• 在标准Web浏览器环境中，展示一个完整且实时的OMAF兼容360° VR视频播放流水线。

提出的方法

• 使用HTML5媒体源扩展（MSE）API实现基于JavaScript的播放器，用于流式传输和解码多分辨率HEVC编码的视频块。
• 利用WebGL API进行渲染，并应用OMAF标准中定义的区域化打包元数据，将视频块映射到球形区域。
• 针对当前HTML5浏览器在HEVC解码和视口依赖型流媒体支持方面的限制，实施了浏览器特定的优化方案。
• 设计了客户端架构，动态选择并仅流式传输用户当前视口相关的视频块，以优化带宽和性能。
• 集成视口追踪功能，确保仅根据用户头部朝向渲染必要的视频块。
• 在Safari浏览器中测试了该实现，利用其通过MSE API原生支持的HEVC功能，实现低延迟实时播放。

实验结果

研究问题

• RQ1 能否仅使用客户端JavaScript和标准Web API，在现代Web浏览器中实现一个完全符合标准的、视口依赖型360° VR视频播放器？
• RQ2 在当前浏览器中，使用HTML5 MSE和WebGL渲染具有视口依赖性的多分辨率HEVC视频块时，面临哪些关键技术挑战？
• RQ3 如何克服浏览器在HEVC解码和视频块流媒体支持方面的限制，以实现在OMAF兼容360° VR视频上的实时、低延迟播放？
• RQ4 在浏览器环境中，通过区域化视频块打包和WebGL技术，OMAF视口依赖型视频配置文件的渲染效率在多大程度上可以实现？
• RQ5 在客户端Web环境中实现高级OMAF功能时，会引发哪些性能与兼容性权衡？

主要发现

• 所提出的JavaScript实现成功地在Safari浏览器中仅使用标准Web API，实现了基于HEVC的视口依赖型360° VR视频的实时播放。
• Safari浏览器中通过MSE API支持HEVC解码，使得多分辨率视频块能够实现低延迟、自适应流式传输。
• 有效利用了OMAF标准中定义的区域化视频块打包元数据，在WebGL渲染过程中将视频块准确映射到球形区域。
• 为应对MSE和HEVC支持方面的限制，特别是视口依赖型视频块选择方面，必须实施浏览器特定的优化方案。
• 该实现表明，复杂的OMAF配置文件可在Web浏览器中原生渲染，而无需依赖本机插件或外部依赖。
• 该解决方案在浏览器环境中完全实现了功能完整、符合标准的OMAF兼容360° VR流媒体播放流水线。