[论文解读] Adaptive Streaming in Interactive Multiview Video Systems

Xue Zhang, Laura Toni+3 more|arXiv (Cornell University)|Feb 25, 2018

Image and Video Quality Assessment参考文献 36被引用 3

一句话总结

本文提出了一种面向交互式多视图视频系统的最优自适应流媒体策略，通过联合选择最佳的摄像机视角集合及其码率，在带宽约束下最大化导航质量。该方法结合动态规划与贪心启发式算法，有效降低了编码失真与虚拟合成失真，在理论与实际网络条件下均显著提升了PSNR与SSIM指标，优于基线自适应逻辑。

ABSTRACT

Multiview applications endow final users with the possibility to freely navigate within 3D scenes with minimum-delay. A real feeling of scene navigation is enabled by transmitting multiple high-quality camera views, which can be used to synthesize additional virtual views to offer a smooth navigation. However, when network resources are limited, not all camera views can be sent at high quality. It is therefore important, yet challenging, to find the right tradeoff between coding artifacts (reducing the quality of camera views) and virtual synthesis artifacts (reducing the number of camera views sent to users). To this aim, we propose an optimal transmission strategy for interactive multiview HTTP adaptive streaming (HAS). We propose a problem formulation to select the optimal set of camera views that the client requests for downloading, such that the navigation quality experienced by the user is optimized while the bandwidth constraints are satisfied. We show that our optimization problem is NP-hard, and we therefore develop an optimal solution based on the dynamic programming algorithm with polynomial time complexity. To further simplify the deployment, we present a suboptimal greedy algorithm with effective performance and lower complexity. The proposed controller is evaluated in theoretical and realistic settings characterized by realistic network statistics estimation, buffer management and server-side representation optimization. Simulation results show significant improvement in terms of navigation quality compared with alternative baseline multiview adaptation logic solutions.

研究动机与目标

• 解决在有限网络资源下，交互式多视图流媒体中视频质量优化的挑战。
• 平衡编码失真（视图质量降低）与虚拟合成失真（传输视图数量减少）之间的权衡。
• 设计一种同时考虑用户交互性与内容特性的自适应逻辑，以提升导航质量。
• 通过带宽感知的客户端请求选择与服务端表示优化，确保服务质量。

提出的方法

• 将问题建模为NP难优化问题，以选择最优的摄像机视图子集及其码率进行下载。
• 提出一种基于动态规划的最优解法，具有多项式时间复杂度，用于求解NP难问题。
• 设计一种次优的贪心算法，计算复杂度更低且性能接近最优，适用于实际部署。
• 将客户端自适应逻辑与缓冲管理及真实网络trace估计相结合。
• 基于视图与码率的联合选择，实施服务端表示优化，受限于每段视频的总存储（18 Mbps）。
• 利用基于深度图像的渲染（DIBR）技术合成虚拟视图，其质量取决于锚定视图质量与视角间距。

实验结果

研究问题

• RQ1 如何在带宽约束下选择最优的摄像机视图与码率组合，以最大化导航质量？
• RQ2 在多视图流媒体中，编码失真（视图质量降低）与虚拟合成失真（视图数量减少）之间存在何种权衡？
• RQ3 用户交互性（导航窗口动态特性）如何影响最优自适应策略？
• RQ4 低复杂度启发式方法是否能实现接近最优的性能，同时仍具备在真实系统中部署的可行性？

主要发现

• 所提出的最优动态规划解法在导航质量方面取得显著提升，SSIM最高提升0.05，PSNR最高提升0.02，优于基线方法。
• 次优贪心算法在计算复杂度显著降低的同时，实现了接近最优的性能，适用于实时部署。
• 在低交互性场景下，该方法可为所有用户提供高质量导航，且优化后的表示集合因视频与摄像机视图而异。
• 在高交互性场景下，该方法能有效应对非均匀的导航模式，表示集合根据用户特定的带宽与导航方差（σ² = 10, 150, 3000）进行自适应调整。
• 所有算法的缓冲占用量随时间保持稳定，无重新缓冲事件，表明带宽与缓冲管理策略有效。
• 服务端表示集合的联合优化导致各摄像机视图的码率分配多样化，反映出内容特异性与用户特异性特征。