[論文レビュー] Computational Models for Multiview Dense Depth Maps of Dynamic Scene

Qifei Wang|arXiv (Cornell University)|Dec 8, 2015

Advanced Vision and Imaging参考文献 21被引用数 4

ひとこと要約

本稿では、動的シーンにおけるマルチビュー高密度深度マップ生成の主な課題、すなわち同質的曖昧性、解像度の不一致、低精度に対処するための計算モデルを提案する。同質的曒和性の低減のための空間的・時間的分離、解像度の向上のための反復フィルタリング、時間的解像度の向上と一貫性最適化のためのマルチラベル集合を用いたエネルギー最小化を導入し、深度マップの品質を顕著に向上させ、3D再構築や動画コーディングなどの応用を可能にする。

ABSTRACT

This paper reviews the recent progresses of the depth map generation for dynamic scene and its corresponding computational models. This paper mainly covers the homogeneous ambiguity models in depth sensing, resolution models in depth processing, and consistency models in depth optimization. We also summarize the future work in the depth map generation.

研究の動機と目的

• 深度センサの同質的曁和性に起因するマルチビュー深度マップの時間的・空間的・視点間の不安定性を解消する。
• 低解像度の深度センサと高解像度のカラーカメラの間の解像度の不一致を解消する。
• 確率的およびエネルギーベースのモデルを用いて、時間的・空間的・視点間の一貫性を最適化することで、深度マップの精度を向上させる。
• 3D再構築や動画コーディングなどの動的シーン応用に適した高品質な高密度深度マップの生成を実現する。

提案手法

• 階層的デ・ブルイーニング二値モジュールを用いた空間的分離により、複数のRGB-Dセンサにおける同質的曁和性を解消する。
• 周期的運動に位相シフトを加える、または時間多重化されたハードウェアシャッタを用いた時間的分離により、複数のRGB-Dカメラからの信号を分離する。
• 時間飛行（TOF）センサにおいて、同質的曁和性を回避するための素数周波数を用いるが、利用可能なバンドが3つに限られる。
• 入力、出力、中間変数を含む行列方程式を用いてモデル化された、クロスビュー参照を活用した反復フィルタを用いて、マルチビュー深度のアップサンプリングを実装する。
• ヘヴィサイドのステップ関数による補正を施したモーションベクトルベースの深度伝搬を適用し、奥行き領域や低テクスチャ領域における精度を向上させる。
• 時間的解像度のアップコンバージョンを、モーションベクトルと滑らかさ制約に基づき、複数の候補ラベル集合から深度値を選択するマルチラベルエネルギー最小化問題として定式化する。

実験結果

リサーチクエスチョン

• RQ1 複数の深度センサ間の同質的曁和性は、どのようにモデル化され、アーチファクトを低減するための解決策が得られるか？
• RQ2 空間的および時間的両方の方向で、一貫性を保ちながら効果的にマルチビュー深度マップをアップサンプリングするための計算技術は何か？
• RQ3 オクルージョンや低テクスチャ領域を含む動的シーンにおいて、モーションベクトルをどのように精緻化すれば、深度伝搬の精度が向上するか？
• RQ4 エネルギー最小化モデルを、時間的および視点間の一貫性を向上させるために、複数のラベル集合を扱えるように拡張する方法は何か？

主な発見

• 階層的デ・ブルイーニング二値モジュール法により、解像度の損失なしに複数のRGB-Dセンサにおける同質的曁和性が効果的に分離された。
• 周期的運動または時間多重化シャッタを用いた時間的分離により、複数のRGB-Dカメラからの信号分離が可能になったが、後処理または時間的キャリブレーションを要する。
• クロスビュー参照を活用した反復フィルタを用いたマルチビュー深度アップサンプリングにより、動画コーディングにおけるレート・ディストーション性能が向上した。
• ヘヴィサイドのステップ関数によるモーションベクトル補正により、深度伝搬の精度が顕著に向上し、測定レートの8倍の時間的解像度が達成可能になった。
• 時間的および視点間の一貫性を組み込んだマルチラベルエネルギー最小化モデルは、従来の単一ラベルモデルを上回り、動的シーンにおける不整合を低減した。
• 本研究で検証されたハイブリッドカメラシステムにより生成された高密度深度マップは、MPEGによって標準テストシーケンスに選定され、実用性と品質の両面で裏付けられた。