[論文レビュー] Adaptive Rate Allocation for View-Aware Point-Cloud Streaming

Mohammad Hosseini|arXiv (Cornell University)|Jan 1, 2017

Image and Video Quality Assessment参考文献 3被引用数 5

ひとこと要約

本稿では、帯域幅制約内で品質を最適化するため、ユーザーの視点と深度に基づいて動的にビットレートを割り当てる視点に配慮した、適応的レート割当ヒューリスティクスを提案する。問題を優先度クラスを備えた複数選択ナップサック問題（MCKP）としてモデル化することで、最適に近い品質配分を達成するとともに、すべてのポイントクラウドが異なる品質レベルで配信されることを保証し、帯域幅の増加を伴わずに視認品質を向上させる。

ABSTRACT

In the context of view-dependent point-cloud streaming in a scene, our rate allocation is "adaptive" in the sense that it priorities the point-cloud models depending on the camera view and the visibility of the objects and their distance as described. The algorithm delivers higher bitrate to the point-cloud models which are inside user's viewport, more likely for the user to look at, or are closer to the view camera or, while delivers lower quality level to the point-cloud models outside of a user's immediate viewport or farther away from the camera. For that purpose, we hereby explain the rate allocation problem within the context of multi-point-cloud streaming where multiple point-cloud models are aimed to be streamed to the target device, and propose a rate allocation heuristic algorithm to enable the adaptations within this context. To the best of our knowledge, this is the first work to mathematically model, and propose a rate allocation heuristic algorithm within the context of point-cloud streaming.

研究の動機と目的

• 制限された帯域幅下で360°環境における複数のポイントクラウドモデルの効率的ストリーミングを解決すること。
• ユーザーの視点と距離に基づいてポイントクラウドを優先順位付けするレート割当戦略を開発し、視認品質を向上させること。
• サブセットベースのアプローチとは異なり、すべてのポイントクラウドが配信されるように、優先度に応じて異なるビットレートを割り当てること。
• 問題を品質および帯域幅制約を伴う複数選択ナップサック問題（MCKP）として定式化すること。
• O(n log n) 時間で動作し、近似的に最適なビットレート割当を生成する低オーバーヘッドでリアルタイムに動作するヒューリスティクスアルゴリズムを設計すること。

提案手法

• ポイントクラウドの品質を、優先度（pτh）とビットレート（sτh）の積としてモデル化し、優先度は視点と距離によって決定する。
• 全ポイントクラウドをグローバル優先度（C1 から C3）の降順にソートし、ビットレート割当を順次実行する。
• 全ポイントクラウドを最低ビットレート（RL）に初期化し、最小要件ビットレート Wmin を計算し、余剰予算 W0 = W − Wmin を算出する。
• 帯域幅が許す限り、優先度の高い順に各ポイントクラウドのビットレートを段階的に増加させ、最高レベルまで引き上げる。
• ポイントクラウドが最高ビットレートに引き上げられない場合、残りの予算を用いて可能な最高の表現レベル L′ を決定する。
• 一回限りのグリーディヒューリスティクスを用い、優先度の高い順にビットレートを割り当てることで、残りの帯域幅を最適に活用するとともに、計算オーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 カメラの視点と深度に基づいて、ユーザーが視認可能なコンテンツを優先するように、ポイントクラウドストリーミングをどのように最適化できるか？
• RQ2 限られた帯域幅を複数のポイントクラウドモデルに効果的に割り当て、視認品質を最大化する最良の方法は何か？
• RQ3 ヒューリスティクスアルゴリズムは、リアルタイムで近似的に最適なビットレート割当を達成できるか。また、すべてのポイントクラウドが送信されることを保証できるか？
• RQ4 複数選択ナップサック定式化は、従来の2値ナップサックアプローチに比べて、ポイントクラウドストリーミングにおいてどのように改善をもたらすか？
• RQ5 視点に配慮したストリーミングにおいて、ビットレート割当、計算コスト、品質向上の間にはどのようなトレードオフが存在するか？

主な発見

• 提案されたヒューリスティクスは、近似的に最適なビットレート割当を達成し、近似誤差は、最良の実現可能なビットレートと、未アップグレード可能な最初のポイントクラウドに対する残りの帯域幅との差に依存する。
• アルゴリズムは O(n log n) 時間および O(n) 空間で動作し、実行時オーバーヘッドが最小限であるため、リアルタイム展開に適している。
• サブセット選択とは異なり、すべてのポイントクラウドに異なるビットレートを割り当てることで、視覚的コンテンツの欠落を回避し、ユーザー体験を向上させる。
• 各ポイントクラウドの品質寄与度は qxi = pxi × sxi としてモデル化され、可視性および距離に基づく動的優先順位付けが可能になる。
• アルゴリズムは、すべてのポイントクラウドの帯域幅使用を効果的にバランスさせ、予算制約内で最高優先度のモデルが最高のビットレートを受ける。
• 本手法は、任意の数の優先度クラスおよびリソースタイプ（例：エネルギー、CPU）に一般化可能であり、帯域幅制限を超えた状況でも柔軟性を示す。