[論文レビュー] Adaptive Streaming in Interactive Multiview Video Systems

Xue Zhang, Laura Toni+3 more|arXiv (Cornell University)|Feb 25, 2018

Image and Video Quality Assessment参考文献 36被引用数 3

ひとこと要約

本稿では、帯域制限のもとでナビゲーション品質を最大化するために、最適なカメラビューの集合とビットレートを同時に選択する、インタラクティブなマルチビュー動画システム向けの最適な適応ストリーミング戦略を提案する。動的計画法と貪欲ヒューリスティックを用いることで、コーディングアーチファクトおよび仮想合成アーチファクトの両方を低減し、理論的および現実的なネットワーク環境下で、ベースラインの適応論理に比べてPSNRおよびSSIMの顕著な向上を達成する。

ABSTRACT

Multiview applications endow final users with the possibility to freely navigate within 3D scenes with minimum-delay. A real feeling of scene navigation is enabled by transmitting multiple high-quality camera views, which can be used to synthesize additional virtual views to offer a smooth navigation. However, when network resources are limited, not all camera views can be sent at high quality. It is therefore important, yet challenging, to find the right tradeoff between coding artifacts (reducing the quality of camera views) and virtual synthesis artifacts (reducing the number of camera views sent to users). To this aim, we propose an optimal transmission strategy for interactive multiview HTTP adaptive streaming (HAS). We propose a problem formulation to select the optimal set of camera views that the client requests for downloading, such that the navigation quality experienced by the user is optimized while the bandwidth constraints are satisfied. We show that our optimization problem is NP-hard, and we therefore develop an optimal solution based on the dynamic programming algorithm with polynomial time complexity. To further simplify the deployment, we present a suboptimal greedy algorithm with effective performance and lower complexity. The proposed controller is evaluated in theoretical and realistic settings characterized by realistic network statistics estimation, buffer management and server-side representation optimization. Simulation results show significant improvement in terms of navigation quality compared with alternative baseline multiview adaptation logic solutions.

研究の動機と目的

• 制限されたネットワークリソースのもとで、インタラクティブなマルチビュー動画ストリーミングにおける動画品質最適化の課題に対処すること。
• コーディングアーチファクト（低いビュー品質）と仮想合成アーチファクト（送信されるビュー数の減少）の間のトレードオフをバランスすること。
• ユーザーのインタラクティビティとコンテンツ特性を両方考慮した適応論理を構築し、ナビゲーション品質を向上させること。
• 帯域に配慮したクライアント側リクエスト選択とサーバー側表現最適化を通じて、サービス品質（QoS）を確保すること。

提案手法

• ダウンロード対象のカメラビューとそのビットレートの最適なサブセットを選択するNP困難な最適化問題として問題を定式化する。
• NP困難問題を解く多項式時間計算量を有する動的計画法に基づく最適解を提案する。
• 実用的展開に適した低コストで近似的に最適な性能を達成する部分最適な貪欲アルゴリズムを設計する。
• バッファ管理と現実的なネットワークトレース推定を統合したクライアント側適応論理を統合する。
• 全動画あたりの合計ストレージ制約（18 Mbps）を満たす条件下で、ビューとビットレートの共同選択に基づくサーバー側表現最適化を実装する。
• 深度画像ベースレンダリング（DIBR）を用いて仮想ビューを合成し、その品質はアンカービューの品質と角度的近接性に依存する。

実験結果

リサーチクエスチョン

• RQ1 帯域制限のもとでナビゲーション品質を最大化するために、最適なカメラビューとビットレートのセットはどのように選択可能か？
• RQ2 マルチビューストリーミングにおける、コーディングアーチファクト（低いビュー品質）と仮想合成アーチファクト（少ないビュー数）の間のトレードオフは何か？
• RQ3 ユーザーのインタラクティビティ（ナビゲーションウィンドウのダイナミクス）は、最適な適応戦略にどのように影響を与えるか？
• RQ4 低コストのヒューリスティックは、実世界のシステムに展開可能でありながら、近似的に最適な性能を達成できるか？

主な発見

• 提案された最適な動的計画法によるソリューションは、ベースライン手法に比べてナビゲーション品質に顕著な向上を示し、SSIMで最大0.05、PSNRで最大0.02の向上を達成した。
• 部分最適な貪欲アルゴリズムは、著しく低い計算コストで近似的に最適な性能を達成しており、リアルタイム展開に適している。
• 低インタラクティビティのシナリオでは、すべてのユーザーに対して高いナビゲーション品質を維持でき、最適化された表現セットは動画およびカメラビューごとに異なる。
• 高インタラクティビティのシナリオでは、非一様なナビゲーションパターンを効果的に処理でき、ユーザー固有の帯域およびナビゲーション分散（σ² = 10, 150, 3000）に応じて表現セットが適応された。
• すべてのアルゴリズムにおいて、時間経過に伴うバッファの占有状態が安定しており、リバッファリングイベントが発生しなかった。これは、帯域およびバッファ管理が効果的に行われていることを示している。
• サーバー側表現セットの共同最適化により、コンテンツ固有およびユーザー固有の特性を反映した、多様なビットレート割り当てが実現された。