[論文レビュー] 3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera

Tanmay Gupta, Daeyun Shin+2 more|arXiv (Cornell University)|Jun 15, 2016

Advanced Vision and Imaging参考文献 19被引用数 4

ひとこと要約

本稿では、ハンドヘルドカメラの動画から単一オブジェクトの正確な3次元再構築とセグメンテーションを実現する3DFSを提案する。回転不変な曲げエネルギー正則化を用いて高密度深度推定を改善し、ゼロクロッシング補正を施したソフトマックス符号付き距離関数を用いた深度マップの融合、およびグラフカットを用いた2次元・3次元同時セグメンテーションにより、テクスチャ欠如や鏡面反射表面でも、カメラの姿勢誤差や深度推定の不正確さにかかわらず、頑健な結果が得られる。

ABSTRACT

We propose an approach for 3D reconstruction and segmentation of a single object placed on a flat surface from an input video. Our approach is to perform dense depth map estimation for multiple views using a proposed objective function that preserves detail. The resulting depth maps are then fused using a proposed implicit surface function that is robust to estimation error, producing a smooth surface reconstruction of the entire scene. Finally, the object is segmented from the remaining scene using a proposed 2D-3D segmentation that incorporates image and depth cues with priors and regularization over the 3D volume and 2D segmentations. We evaluate 3D reconstructions qualitatively on our Object-Videos dataset, comparing to fusion, multiview stereo, and segmentation baselines. We also quantitatively evaluate the dense depth estimation using the RGBD Scenes V2 dataset [Henry et al. 2013] and the segmentation using keyframe annotations of the Object-Videos dataset.

研究の動機と目的

• ハンドヘルドカメラの動画からユーザーの操作なしに完全に自動化された単一オブジェクトの3次元再構築を可能にすること。
• テクスチャ欠如や鏡面反射表面などの困難な条件下でも、深度マップの精度を向上させること。
• TSDFにおける切断処理をソフトマックス符号付き距離関数に置き換えることで、深度誤差に対してより頑健なボリューム統合を実現すること。
• 事前知識と正則化を用いて2次元画像と3次元ボクセルラベルを同時に最適化することで、正確なオブジェクトセグメンテーションを達成すること。
• 3次元印刷や拡張現実応用に適した高品質で滑らかな3次元メッシュを生成すること。

提案手法

• 複数視点ステレオの手がかり、VSLAMから得られるスパarsな点群、および表面の滑らかさを保証する回転不変な2次微分曲げエネルギーを組み合わせた、新しい高密度深度推定の目的関数を提案する。
• 従来のTSDFの切断処理を、ソフトマックスに基づく符号付き距離関数（SDF）に置き換えることで、深度マップの誤差に対してより頑健で滑らかな表面を生成する。
• ソフトマックス統合によって生じるSDFのゼロクロッシングシフトを補正するための変形ステップを導入し、PMVSから得られるスパースな表面点群を用いて整合性を確保する。
• 画像の色、深度の手がかり、3次元の連続性事前知識を用いて、ピxlsとボクセルがお互いに制約を及げるグラフカット最適化により、2次元・3次元同時セグメンテーションを実行する。
• 複数視点間の整合性と3次元ボリューム内での一貫性を保つために、スーパーピクセルベースのユニタリ項とボクセルベースのユニタリ項を用いる。
• トリマップ初期化とスペクトルマッティングを代替のセグメンテーション手法として導入するが、計算コストの高さからマルチビュー設定での利用は制限される。

実験結果

リサーチクエスチョン

• RQ1 2次元のみまたは3次元のみのアプローチと比較して、2次元・3次元同時セグメンテーションフレームワークは、オブジェクト再構築の正確性を向上させ得るか？
• RQ2 ゼロクロッシング補正を施したソフトマックス符号付き距離関数は、深度マップの誤差が存在する状況で、従来の切断処理を施したSDFを上回る性能を発揮するか？
• RQ3 曲げエネルギー正則化は、テクスチャ欠如や鏡面反射表面における深度マップ品質を向上させ得るか？
• RQ4 PMVSから得られるスパースな点群の統合は、SDFの変形と表面再構築にどのように寄与するか？
• RQ5 ピxlsとボクセルの同時推論により、複雑なシーンにおけるセグメンテーション誤差はどの程度低減されるか？

主な発見

• 曲げエネルギー正則化を組み込んだ提案手法の深度推定は、Object-VideosおよびRGBD Scenes v2の両データセットにおいて、ベースライン正則化手法を上回る性能を発揮した。
• 変形を施したソフトマックスSDF統合は、特に深度誤差が生じる領域において、標準的なTSDFよりも顕著に表面の滑らかさと再構築品質が向上した。
• 2次元・3次元同時セグメンテーション（2D-3D GC Pixel）は、2例を除き2次元のみのセグメンテーションを上回り、3次元の一貫性制約の利点を示した。
• 2次元・3次元同時セグメンテーションによるボクセルベースの3次元モデル（2D-3D GC Voxel）は、画像レベルの誤差に敏感な形状カービング法よりも正確であった。
• 変形SDFと2D-3D GC Voxelのメッシュを組み合わせることで、最も視覚的に魅力的な3次元再構築が得られたが、シルエットの正確性は2D-3D GC Voxel単体の結果よりわずかに低かった。
• カメラの姿勢推定誤差は依然として主要な失敗要因であり、特にぼやけたまたは急激に動くシーケンスでは、深度マップの品質とセグメンテーションの一貫性に顕著な悪影響を与える。