[论文解读] Collaborative P2P Streaming of Interactive Live Free Viewpoint Video

Dongni Ren, S.-H. Gary Chan+3 more|arXiv (Cornell University)|Nov 20, 2012

Image and Video Quality Assessment参考文献 19被引用 4

一句话总结

本文提出一种用于实时自由视角视频的协作式点对点（P2P）流媒体方案，其中各节点共同选择锚定摄像机视角以最小化总成本——平衡访问成本、失真及重配置成本。针对可忽略的重配置成本，提出一种动态规划（DP）算法；针对非可忽略的重配置成本，提出启发式、分布式的算法，实现最优或近似最优性能，相较于非协作式P2P方案有显著性能提升。

ABSTRACT

We study an interactive live streaming scenario where multiple peers pull streams of the same free viewpoint video that are synchronized in time but not necessarily in view. In free viewpoint video, each user can periodically select a virtual view between two anchor camera views for display. The virtual view is synthesized using texture and depth videos of the anchor views via depth-image-based rendering (DIBR). In general, the distortion of the virtual view increases with the distance to the anchor views, and hence it is beneficial for a peer to select the closest anchor views for synthesis. On the other hand, if peers interested in different virtual views are willing to tolerate larger distortion in using more distant anchor views, they can collectively share the access cost of common anchor views. Given anchor view access cost and synthesized distortion of virtual views between anchor views, we study the optimization of anchor view allocation for collaborative peers. We first show that, if the network reconfiguration costs due to view-switching are negligible, the problem can be optimally solved in polynomial time using dynamic programming. We then consider the case of non-negligible reconfiguration costs (e.g., large or frequent view-switching leading to anchor-view changes). In this case, the view allocation problem becomes NP-hard. We thus present a locally optimal and centralized allocation algorithm inspired by Lloyd's algorithm in non-uniform scalar quantization. We also propose a distributed algorithm with guaranteed convergence where each peer group independently make merge-and-split decisions with a well-defined fairness criteria. The results show that depending on the problem settings, our proposed algorithms achieve respective optimal and close-to-optimal performance in terms of total cost, and outperform a P2P scheme without collaborative anchor selection.

研究动机与目标

• 为解决在P2P实时自由视角视频流媒体中，节点可在捕捉到的摄像机视角之间选择虚拟视角时，高效协作的锚定视角选择挑战。
• 通过联合分配锚定视角，最小化总成本——包括访问成本、视图合成失真及网络重配置成本。
• 设计适用于不同网络条件的集中式与分布式算法，尤其在节点视角切换导致非可忽略重配置成本时具备适应能力。
• 在真实流媒体场景下，评估所提算法相对于非协作式P2P方案及最优解的性能表现。

提出的方法

• 将锚定视角分配问题建模为访问成本（来自服务器）、失真（来自DIBR合成）与重配置成本（因视角切换引起）之间的权衡。
• 针对重配置成本可忽略的情况，开发一种动态规划（DP）算法，实现最优且多项式时间求解，适用于访问成本约束与成本函数两种公式化形式。
• 针对重配置成本非可忽略的NP难问题，提出一种受非均匀标量量化中Lloyd算法启发的集中式局部最优算法。
• 提出一种具有收敛保证的分布式算法，其中节点组基于公平性准则独立做出合并与拆分决策，以优化总成本。
• 采用基于联盟的结构，节点组成群体以共享共同锚定视角的访问成本，从而降低整体系统成本。
• 通过仿真评估在不同视角价格、节点数量及重配置成本下的性能表现，对比穷举搜索与非协作式P2P基线方案。

实验结果

研究问题

• RQ1 当由于节点视角切换导致的网络重配置成本可忽略时，如何在P2P实时自由视角视频系统中优化锚定视角分配？
• RQ2 当重配置成本非可忽略时，锚定视角分配问题的计算复杂度如何？应如何高效求解？
• RQ3 能否设计一种分布式、收敛的算法，使节点组能够协作选择锚定视角，同时兼顾公平性与低总成本？
• RQ4 在不同节点规模与视角价格下，协作式锚定视角选择相较于非协作式P2P方案，在总成本与可扩展性方面表现如何？
• RQ5 在最优分配策略中，访问成本、失真与重配置成本三者之间的权衡关系在多大程度上体现？

主要发现

• 当重配置成本可忽略时，基于DP的算法可在多项式时间内实现最优性能，显著降低总成本，从而实现对共同锚定视角的高效共享。
• 当重配置成本非可忽略时，问题变为NP难，需采用启发式方法，如CPG与DPG算法。
• CPG（集中式）算法性能非常接近全局最优解，尤其在锚定视角访问价格较高时，成本分担机制更为关键。
• DPG（分布式）算法实现接近最优的性能，能高效适应视角价格变化，且随着访问成本上升，联盟合并行为增加。
• 随着访问价格提高，从服务器拉取的摄像机视角总数减少，因为节点更倾向于通过协作共享成本。
• 无协作的简单P2P方案表现最差，尤其在节点数量较少时；而CPG与DPG通过有效的成本分担与动态重配置，始终保持低总成本。