[論文レビュー] FVV Live: A real-time free-viewpoint video system with consumer electronics hardware

Pablo Carballeira, Carlos Carmona+9 more|arXiv (Cornell University)|May 14, 2021

Advanced Vision and Imaging参考文献 60被引用数 38

ひとこと要約

FVV Live は、一般消費者向けステレオカメラと市販ハードウェアのみを用いた、リアルタイムで低コストな自由視点動画システムであり、深度補正、12ビットの無損失深度符号化、レイヤードビュー合成を通じて高品質な仮想ビュー合成を実現する。運動から光子への遅延が50ms未塔で、エンドツーエンドの遅延が約250msに抑えられ、主観的評価では最先端のDIBR手法を顕著に上回る性能を示す。

ABSTRACT

© 2021 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.

研究の動機と目的

• 市販部品のみを用いた低コストでリアルタイムな自由視点動画システムの開発を目的とする。
• FVVシステムにおける映像品質、リアルタイム性能、導入コストのトレードオフを解消することを目的とする。
• イベント中継やビデオ会議などの応用分野において、シームレスな仮想ナビゲーションと双方向の没入型通信を可能にすることを目的とする。
• 一般消費者向け深度推定技術と帯域幅の制限にもかかわらず、合成品質の向上を図ることを目的とする。

提案手法

• スパarsely配置された9台のStereolabs ZEDステレオカメラを用い、マルチビュー＋深度（MVD）データを取得する。
• ステレオキャリブレーションの不正確さに起因する誤差を補正するため、深度後処理を施したキャプチャサーバーを採用する。
• 標準の8ビット動画コーデックに12ビットの無損失深度符号化を適用し、高精度な深度データを保持する。
• 仮想視点の位置に応じてカメラストリームの有効／無効を動的に制御する適応型ストリーミングを実装し、ビットレートを削減する。
• 1台のエッジサーバー上でレイヤードビュー合成を実装し、前景と背景を分離することで、効率的なレンダリングを実現する。
• キャプチャサーバーでリアルタイムに前景／背景セグメンテーションを実行し、レイヤードレンダリングを可能にするとともに帯域幅を最適化する。

実験結果

リサーチクエスチョン

• RQ1 一般消費者向け電子機器のみを用いて、リアルタイム性能を損なわずに高品質な自由視点動画システムを構築可能か？
• RQ2 低価格ステレオカメラによる深度推定誤差をリアルタイムで効果的に補正できるか？
• RQ3 制限された帯域幅下でも、重要な深度データを保持しつつ合成品質を最大化するための圧縮および伝送戦略は何か？
• RQ4 前景／背景を別々に処理するレイヤードビュー合成は、視覚的品質の向上と計算負荷の低減にどのように寄与するか？
• RQ5 FVV Live は、最先端のDIBRベースのシステムと比較して、主観的品質評価でどの程度優れているか？

主な発見

• FVV Live は平均して運動から光子への遅延が50ms未塔、エンドツーエンドの遅延が約250msに抑えられ、リアルタイムで応答性の高い仮想ナビゲーションを実現する。
• 主観的評価では、すべてのシナリオ、トラジェクトリ、カメラ構成において、FVV Live がVSRS（最先端のDIBR手法）を80％以上の割合で上回る。
• 仮想カメラの経路に沿って一貫した視覚的品質を維持しており、スタティックカメラ1/2および1/3のトラジェクトリ間で品質に統計的に有意な差は認められない。
• FVV Live のDMOSスコアは3.0（中程度の品質）を超え、小型スマートフォン画面では4.0～4.5に達しており、単純なシーンでは物理的カメラ参照とほとんど区別できない品質を示している。
• 無損失12ビット深度符号化により合成品質が顕著に向上し、適応型ストリーミングにより関連するカメラデータのみを送信することで帯域幅を削減できる。
• リアルタイムでのFG/BGセグメンテーションを伴うレイヤード合成アプローチにより、効率的なレンダリングが可能となり、高精度な深度データに帯域幅を再割り当てできる。