[論文レビュー] Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera

Rongsen Chen, Fang‐Lue Zhang+3 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文では、ハンドヘルドのコンsumer級カメラで撮影された日常的かつ非構造的な360°パノラマ画像を用いて、リアルタイムで6-DoFのフリー・ビューイング・パノラマ合成を実現する新規パイプラインを提示する。非構造的な360°パノラマからスパarsとディンスの深度推定を活用することで、大規模な屋内および屋外シーンにおいて高精細で30fpsの新規ビュー合成を可能にし、視覚的品質と耐性の面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Six degrees-of-freedom (6-DoF) video provides telepresence by enabling users to move around in the captured scene with a wide field of regard. Compared to methods requiring sophisticated camera setups, the image-based rendering method based on photogrammetry can work with images captured with any poses, which is more suitable for casual users. However, existing image-based rendering methods are based on perspective images. When used to reconstruct 6-DoF views, it often requires capturing hundreds of images, making data capture a tedious and time-consuming process. In contrast to traditional perspective images, 360° images capture the entire surrounding view in a single shot, thus, providing a faster capturing process for 6-DoF view reconstruction. This paper presents a novel method to provide 6-DoF experiences over a wide area using an unstructured collection of 360° panoramas captured by a conventional 360° camera. Our method consists of 360° data capturing, novel depth estimation to produce a high-quality spherical depth panorama, and high-fidelity free-viewpoint generation. We compared our method against state-of-the-art methods, using data captured in various environments. Our method shows better visual quality and robustness in the tested scenes.

研究の動機と目的

• ハンドヘルドカメラで日常的かつ非構造的に撮影された360°パノラマ画像のみを用いて、大規模なシーンにおける6-DoFフリー・ビューイングナビゲーションを可能にすること。
• 正確な6-DoF再構成に数百枚のパースペクティブ画像を必要とする従来の画像ベースドレンダリング手法の限界を克服すること。
• コンsumer級360°カメラを用いた、ロバストでエンドツーエンドの6-DoFビュー合成パイプラインを提供し、一般ユーザーの撮影の複雑さを軽減すること。
• 専用のカメラレンジやプロフェッショナル機器に依存せずに、高視覚的精細度とリアルタイム性能（30fps）を実現した新規ビュー合成を達成すること。
• 球面パノラマにおける深度推定、ステッチングアーティファクト、非構造的な360°撮影における動的オブジェクトといった課題に対処すること。

提案手法

• ハンドヘルドのコンsumer級360°カメラを用いて、非構造的な360°パノラマ画像を撮影する。
• COLMAPを用いてオフラインでスパース幾何再構成を実行し、カメラポーズとスパース点群を推定する。
• マルチビュー・ステレオ（MVS）の原則に基づく新規のマルチビュー深度補間および最適化スキームを用いて、球面の密集した深度パノラマを推定する。
• 特に画像境界付近での精度向上とアーティファクト低減を図るため、球面に適応した深度精緻化技術を適用する。
• 複数の入力パノラマからの深度ガイドド画像ブレンドとプロジェクションを用いて、リアルタイム（30fps）で新規パノラマビューを合成する。
• 全360°視野を保持し、3次元空間における並進運動パララックスをサポートする球面レンダリングパイプラインを採用する。

実験結果

リサーチクエスチョン

• RQ1 ハンドヘルドカメラで日常的かつ非構造的に撮影された360°パノラマ画像のみを用いて、6-DoFフリー・ビューイング・パノラマシステムを構築可能か？
• RQ2 球面360°パノラマにおける深度推定を効果的に行うにはどうすればよいか？視覚的高品質なビュー合成を支援する。
• RQ3 専用のカメラハードウェアを用いずに、360°パノラマのみを用いてリアルタイム30fpsの新規ビュー合成を達成可能か？
• RQ4 本手法は、多様な屋内および屋外環境において、最先端の6-DoFシステムと比較して視覚的品質と耐性に優れているか？
• RQ5 反射面、動的オブジェクト、360°パノラマにおけるステッチングアーティファクトの処理において、本手法の主な限界は何か？

主な発見

• 提案手法は、ハンドヘルドカメラで撮影された360°パノラマ画像のみを用いて、リアルタイム30fpsの新規ビュー合成を達成した。
• 本手法は、屋内および屋外のさまざまなシーン、特に大規模な環境において、視覚的品質と耐性の面で最先端のアプローチを上回った。
• 新規の球面に適した補間および最適化スキームを組み合わせることで、360°パノラマからの深度推定が実現可能かつ効果的であることが示された。
• 本システムは、複雑なテクスチャや照明条件のシーンにおいても一貫した性能を示し、過去の手法が時として失敗する状況でも優れた性能を発揮した。
• 反射面や透明な表面（例：ガラス）の処理には限界があり、深度推定の不一致によりゴーストアーティファクトが発生する場合がある。
• 360°パノラマにおけるステッチングアーティファクトが、合成ビューにおけるゴースト現象を引き起こすことが判明し、事前処理やアーティファクト低減の向上が求められる。