[論文レビュー] Viewport Adaptation-Based Immersive Video Streaming: Perceptual Modeling and Applications

Shaowei Xie, Qiu Shen+5 more|arXiv (Cornell University)|Feb 16, 2018

Image and Video Quality Assessment参考文献 32被引用数 7

ひとこと要約

本稿では、帯域制約下で視点適合型インマーシブ動画ストリーミングにおける品質低下の影響を量子化ステップサイズと空間的解像度の両方と連携してモデル化する知覚的品質モデルを提案する。2つの閉形式指数関数の積を用いて、MOS（平均評価スコア）を高い精度で予測（ピアソンおよびスピアマンの相関係数 ≈0.98）し、レート・ディストーション最適化を可能にし、ヒューリスティック手法と比較して9.36%のBDレート改善を達成した。

ABSTRACT

Immersive video offers the freedom to navigate inside virtualized environment. Instead of streaming the bulky immersive videos entirely, a viewport (also referred to as field of view, FoV) adaptive streaming is preferred. We often stream the high-quality content within current viewport, while reducing the quality of representation elsewhere to save the network bandwidth consumption. Consider that we could refine the quality when focusing on a new FoV, in this paper, we model the perceptual impact of the quality variations (through adapting the quantization stepsize and spatial resolution) with respect to the refinement duration, and yield a product of two closed-form exponential functions that well explain the joint quantization and resolution induced quality impact. Analytical model is cross-validated using another set of data, where both Pearson and Spearman's rank correlation coefficients are close to 0.98. Our work is devised to optimize the adaptive FoV streaming of the immersive video under limited network resource. Numerical results show that our proposed model significantly improves the quality of experience of users, with about 9.36\% BD-Rate (Bjontegaard Delta Rate) improvement on average as compared to other representative methods, particularly under the limited bandwidth.

研究の動機と目的

• インマーシブ動画ストリーミングにおける視点リファインメント中の品質変動の知覚的影響を、量子化ステップサイズと空間的解像度の両方を考慮してモデル化すること。
• リファインメント時間τに基づいて主観的品質（MOS）を正確に予測できる閉形式の解析的モデルを開発すること。
• 提案されたモデルを用いて、レート制約下で知覚的品質を最大化することで、適応ストリーミングを最適化すること。
• 独立した主観的評価を用いた交差検証により、モデルの精度を検証すること。
• ヒューリスティックな適応戦略と比較して、品質体験（QoE）における実用的性能向上を示すこと。

提案手法

• リファインメント時間τにおけるMOSへの量子化ステップサイズ（q）と空間的解像度（s）の影響を、2つの指数関数の積として定式化する。
• モデルのパラメータをqとsに依存する固定の閉形式関数として導出することで、再トレーニングを必要とせず解析的最適化を可能にする。
• 独立したデータセットを用いてモデルを検証し、予測されたMOSと測定済みMOSの間のピアソンおよびスピアマンの相関係数を計算する。
• モデルを用いて、与えられたビットレート予算Bにおける制約付き最適化問題を解き、推定された知覚的品質（Q̂）を最大化する。
• 各Bに対して、量子化ステップサイズ（q）と正規化された空間的解像度（ŝ）の離散的組み合わせをブルートフォース探索することで最適設定を同定する。
• BDレート指標を用いて、提案されたモデルベースの適応とヒューリスティックなルールベース手法との定量的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 量子化ステップサイズと空間的解像度の変動が、視点リファインメント中の知覚的動画品質にどのように連携して影響を与えるか？
• RQ2 閉形式の知覚的モデルは、異なるリファインメント時間において、視点適合型インマーシブ動画ストリーミングのMOSを正確に予測できるか？
• RQ3 帯域制約下で、ヒューリスティックな適応戦略と比較して、提案されたモデルが品質体験（QoE）をどの程度向上できるか？
• RQ4 モデルを用いた量子化と解像度の共同最適化は、インマーシブ動画ストリーミングにおけるレート・ディストーション効率にどのように影響を与えるか？
• RQ5 変動するネットワーク状態下で、離散的な解像度および量子化レベルが、最適な適応戦略に及ぼす影響は何か？

主な発見

• 提案された知覚的モデルは、交差検証において予測されたMOSと測定済みMOSの間にピアソン相関係数0.98およびスピアマン順位相関係数0.98を達成した。
• モデルは視点適応の解析的最適化を可能にし、任意のビットレート制約に対して最適な量子化ステップサイズと空間的解像度の選択が可能になった。
• モデルベースの適応は、固定ビットレートしきい値に基づいて空間的解像度を割り当てるヒューリスティック手法と比較して、平均9.36%のBDレート改善を達成した。
• 離散的な空間的解像度レベルのため、最適な量子化ステップサイズはビットレートの増加に伴い単調に減少せず、qに非単調なジャンプが生じた。
• 空間的解像度が低い水準に固定されている場合、品質は量子化ステップサイズの減少に伴いより速やかに向上するため、低解像度ではqの変化に対する品質向上の感受性が高くなることが示唆された。
• すべてのテスト動画においてモデルの精度が維持され、個々の動画ごとの再トレーニングを必要とせず、すべてのパラメータを固定した状態で安定した性能を示した。