[論文レビュー] Collaborative P2P Streaming of Interactive Live Free Viewpoint Video

Dongni Ren, S.-H. Gary Chan+3 more|arXiv (Cornell University)|Nov 20, 2012

Image and Video Quality Assessment参考文献 19被引用数 4

ひとこと要約

本稿は、ライブ自由視点動画の共同的ピアツーピア（P2P）ストリーミングを提案し、ピアが共同でアンカーカメラビューを選択することで、合計コスト（アクセスコスト、歪み、再構成コスト）を最小化する。再構成コストが無視できる場合、動的計画法（DP）アルゴリズムを導入し、非無視可能なコストの場合にはヒューリスティックで分散型のアルゴリズムを提案。非共同P2P方式に比べて顕著な性能向上を達成し、最適またはほぼ最適な性能を実現する。

ABSTRACT

We study an interactive live streaming scenario where multiple peers pull streams of the same free viewpoint video that are synchronized in time but not necessarily in view. In free viewpoint video, each user can periodically select a virtual view between two anchor camera views for display. The virtual view is synthesized using texture and depth videos of the anchor views via depth-image-based rendering (DIBR). In general, the distortion of the virtual view increases with the distance to the anchor views, and hence it is beneficial for a peer to select the closest anchor views for synthesis. On the other hand, if peers interested in different virtual views are willing to tolerate larger distortion in using more distant anchor views, they can collectively share the access cost of common anchor views. Given anchor view access cost and synthesized distortion of virtual views between anchor views, we study the optimization of anchor view allocation for collaborative peers. We first show that, if the network reconfiguration costs due to view-switching are negligible, the problem can be optimally solved in polynomial time using dynamic programming. We then consider the case of non-negligible reconfiguration costs (e.g., large or frequent view-switching leading to anchor-view changes). In this case, the view allocation problem becomes NP-hard. We thus present a locally optimal and centralized allocation algorithm inspired by Lloyd's algorithm in non-uniform scalar quantization. We also propose a distributed algorithm with guaranteed convergence where each peer group independently make merge-and-split decisions with a well-defined fairness criteria. The results show that depending on the problem settings, our proposed algorithms achieve respective optimal and close-to-optimal performance in terms of total cost, and outperform a P2P scheme without collaborative anchor selection.

研究の動機と目的

• P2Pライブ自由視点動画ストリーミングにおける、ピアが記録されたカメラビュー間の仮想ビューを選択可能な状況下で、効率的かつ共同的なアンカービュー選択の課題に対処すること。
• アクセスコスト（サーバーからのもの）、歪み（DIBR合成によるもの）、ネットワーク再構成コスト（ビュー切り替えに起因）を含む合計コストを、アンカービューの共同割り当てによって最小化すること。
• ネットワーク状態の変化に適応可能な中央集権的および分散型アルゴリズムの設計を目的とし、特にピアのビュー切り替えに伴う再構成コストが無視できない状況を想定すること。
• 提案されたアルゴリズムの性能を、非共同P2P方式および最適解と比較し、現実的なストリーミング環境下での評価を行うこと。

提案手法

• アンカービュー割り当て問題を、アクセスコスト（サーバーからのもの）、歪み（DIBR合成によるもの）、再構成コスト（ビュー切り替えに起因）のトレードオフとして定式化する。
• 再構成コストが無視できる場合の最適解を求めるため、動的計画法（DP）アルゴリズムを開発。アクセスコスト制約とコスト関数の両方の定式化において、多項式時間で最適解を達成可能である。
• 再構成コストが非無視可能な場合のNP困難な問題に対し、非一様スカラー量子化におけるLloydのアルゴリズムにインspiredされた中央集権的で局所最適なアルゴリズムを提案する。
• 収束が保証された分散型アルゴリズムを導入。ピアグループが公平性基準に基づき、マージおよびスプリット意思決定を独立して行い、コスト最適化を実現する。
• ピアが共通のアンカービューのアクセスコストを共有するためのコалиションベースの構造を採用。これにより、システム全体のコストが低減される。
• シミュレーションを用いて、さまざまなビュー価格、ピア数、再構成コストの下での性能を評価。全探索と非共同P2Pベースラインとを比較する。

実験結果

リサーチクエスチョン

• RQ1 ピアのビュー切り替えに起因するネットワーク再構成コストが無視できる場合、P2Pライブ自由視点動画システムにおけるアンカービュー割り当てをどのように最適化できるか？
• RQ2 再構成コストが非無視可能な場合、アンカービュー割り当て問題の計算量的複雑性は何か？ そして、効率的に解くにはどうすればよいか？
• RQ3 公平性と低コストを両立させる分散型で収束が保証されたアルゴリズムを設計できるか？ これによりピアグループが共同でアンカービューを選択できるか？
• RQ4 さまざまなピア数とビュー価格の下で、共同アンカービュー選択は非共同P2P方式と比べて、合計コストとスケーラビリティの点でどの程度優れているか？
• RQ5 最適な割り当て戦略において、アクセスコスト、歪み、再構成コストの各成分は、どの程度トレードオフの関係にあるか？

主な発見

• 再構成コストが無視できる場合、DPに基づくアルゴリズムは多項式時間で最適性能を達成し、共通アンカービューの効率的共有により合計コストを顕著に削減する。
• 再構成コストが非無視可能な場合、問題はNP困難となり、CPGおよびDPGアルゴリズムなどのヒューリスティック手法が不可欠となる。
• 中央集権的CPGアルゴリズムは、特にアンカービューのアクセスコストが高い状況では、グローバル最適解に非常に近い性能を示す。コスト共有がより重要になるためである。
• 分散型DPGアルゴリズムはほぼ最適な性能を達成し、変化するビュー価格に効果的に適応する。アクセスコストが上昇するにつれ、コアリションのマージが増加する。
• アクセスコストが高くなると、サーバーから引き出すカメラビューの総数が減少する。これは、ピアがコスト共有を強化して協力するためである。
• 単純なP2P方式（非協力的）は、特にピア数が少ない場合に最も悪い性能を示すが、CPGおよびDPGは効果的なコスト共有と動的再構成により、低コストを維持する。