[論文レビュー] Rate-Utility Optimized Streaming of Volumetric Media for Augmented Reality

Jounsup Park, Philip A. Chou+1 more|arXiv (Cornell University)|Apr 26, 2018

Image and Video Quality Assessment被引用数 5

ひとこと要約

本論文は、3Dタイル、視点依存のクリッピングおよびレベル・オブ・ディテール（LOD）適応、および遅延を低減するウィンドウベースのバッファを用いて、品質と帯域幅を最適化する、拡張現実（AR）におけるボリュメトリックメディア向けの新規ストリーミングシステムを提示する。このシステムは、品質、視点の関連性、デバイス解像度のバランスを取るための、貪欲的かつ証明可能に最適なレート・ユーティリティアルゴリズムを導入しており、変動するネットワーク環境下でも動画ストリーミングの適応手法を上回るユーティリティとユーザーエクスペリエンスを実現する。

ABSTRACT

Volumetric media, popularly known as holograms, need to be delivered to users using both on-demand and live streaming, for new augmented reality (AR) and virtual reality (VR) experiences. As in video streaming, hologram streaming must support network adaptivity and fast startup, but must also moderate large bandwidths, multiple simultaneously streaming objects, and frequent user interaction, which requires low delay. In this paper, we introduce the first system to our knowledge designed specifically for streaming volumetric media. The system reduces bandwidth by introducing 3D tiles, and culling them or reducing their level of detail depending on their relation to the user's view frustum and distance to the user. Our system reduces latency by introducing a window-based buffer, which in contrast to a queue-based buffer allows insertions near the head of the buffer rather than only at the tail of the buffer, to respond quickly to user interaction. To allocate bits between different tiles across multiple objects, we introduce a simple greedy yet provably optimal algorithm for rate-utility optimization. We introduce utility measures based not only on the underlying quality of the representation, but on the level of detail relative to the user's viewpoint and device resolution. Simulation results show that the proposed algorithm provides superior quality compared to existing video-streaming approaches adapted to hologram streaming, in terms of utility and user experience over variable, throughput-constrained networks.

研究の動機と目的

• 低遅延で適応可能なボリュメトリックメディアのARストリーミングにおける課題に対処すること。これは、高帯域幅、高速スタートアップ、ユーザーアクションへの迅速な応答を要する。
• ユーザービューの視錐台と距離に基づく3Dタイル分割と動的クリッピングにより、帯域幅消費を削減すること。
• 従来のキュー基盤のバッファリングに代わって、バッファ先頭付近への挿入を可能にするウィンドウベースのバッファを採用することで、ユーザーアクションへの遅延を最小限に抑えること。
• 品質、LOD、デバイス解像度を組み込んだユーティリティモデルを用いて、複数のオブジェクトおよびタイル間でのビット割り当てを最適化すること。
• 変動する帯域制約のあるネットワーク環境下で、動画ストリーミングの適応手法と比較して、本システムの性能を評価すること。

提案手法

• システムはボリュメトリックメディアを3Dタイルに分割することで、ユーザーポジションに応じた空間的関連性に基づいた選択的送信を可能にする。
• 視錐台クリッピングと距離に基づくLOD低減を適用することで、視界外または遠方のオブジェクトのデータ送信を最小限に抑える。
• バッファ先頭付近への新規データ挿入を可能にするウィンドウベースのバッファ構造により、ユーザーアクションへの応答性を向上させる低遅延を実現する。
• 貪欲的かつ証明可能に最適なレート・ユーティリティ最適化アルゴリズムにより、品質、LOD、デバイス解像度を考慮したユーティリティを最大化するようにビットをタイル間で割り当てる。
• ユーティリティは、表現品質、タイルのLOD（ユーザービューからの相対的LOD）、およびターゲットデバイスのディスプレイ解像度の関数として定式化される。
• 変動するネットワーク条件下でのシミュレーションを通じて、本システムのユーティリティとユーザーエクスペリエンスを、動画ストリーミングの適応手法と比較評価する。

実験結果

リサーチクエスチョン

• RQ1 ARにおけるボリュメトリックメディアを、最小限の帯域幅と低遅延で効率的にストリーミングする方法は何か？
• RQ2 異なるLODおよび視点依存の関連性を有する複数の3Dタイル間で、最適にビットを割り当てる方法は何か？
• RQ3 インタラクティブARシナリオにおいて、ウィンドウベースのバッファは、従来のキュー基盤のバッファリングに比べて応答性をどのように向上させるか？
• RQ4 提案されたレート・ユーティリティ最適化は、動画ストリーミングの適応手法と比較して、ユーザーエクスペリエンスをどの程度向上させるか？
• RQ5 視点依存のクリッピングとLOD適応は、ボリュメトリックARストリーミングにおける帯域幅と品質にどのように影響を与えるか？

主な発見

• 提案されたレート・ユーティリティ最適化アルゴリズムは貪欲的かつ証明可能に最適であり、帯域制約下でも最大のユーティリティを保証する。
• ウィンドウベースのバッファにより、バッファ先頭付近への挿入が可能になり、ユーザーアクションへの応答が速くなり、認識される遅延が低減される。
• 視点依存のクリッピングとLOD適応は、認識される品質を損なわずに帯域幅使用量を顕著に削減する。
• シミュレーション結果から、変動する帯域制約のあるネットワーク環境下でも、本システムは動画ストリーミングの適応手法を上回る高いユーティリティと優れたユーザーエクスペリエンスを達成することが示された。
• 視点の関連性とデバイス解像度を組み込んだユーティリティモデルにより、より知覚的に正確で効率的なリソース割り当てが可能になる。
• 本システムは、低遅延と高い適応性を維持しながら、複数のボリュメトリックオブジェクトを同時にストリーミングするのを効果的にサポートする。