[論文レビュー] Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera

Hongrui Cai, Wanquan Feng+3 more|arXiv (Cornell University)|Jun 30, 2022

Advanced Vision and Imaging被引用数 20

ひとこと要約

NDR は invertible deformation map、topology-aware correspondences、および global pose refinement を備えたニューラル implicit 表現を用い、単眼RGB-D動画から動的シーンの高忠実なジオメトリと運動を回復します。

ABSTRACT

We propose Neural-DynamicReconstruction (NDR), a template-free method to recover high-fidelity geometry and motions of a dynamic scene from a monocular RGB-D camera. In NDR, we adopt the neural implicit function for surface representation and rendering such that the captured color and depth can be fully utilized to jointly optimize the surface and deformations. To represent and constrain the non-rigid deformations, we propose a novel neural invertible deforming network such that the cycle consistency between arbitrary two frames is automatically satisfied. Considering that the surface topology of dynamic scene might change over time, we employ a topology-aware strategy to construct the topology-variant correspondence for the fused frames. NDR also further refines the camera poses in a global optimization manner. Experiments on public datasets and our collected dataset demonstrate that NDR outperforms existing monocular dynamic reconstruction methods.

研究の動機と目的

• テンプレートや事前情報なしに、単眼RGB-Dデータから動的シーンを再構成するという制約の多い問題に対処する。
• ニューラル・インプリシット表現を用いて、幾何・外観・運動を共通のcanonical空間で共同最適化する。
• 厳密な可逆変形マップによってサイクル/時空一致性を保証する。
• トポロジー変化をトポロジー認識対応付け機構を通じて扱う。
• 訓練中のグローバル最適化を通じてカメラ姿勢推定を向上させる。

提案手法

• 幾何と外観を canonical hyper-space におけるニューラルSDFと放射場で表現する。
• 観測空間とカノニカル空間を関連づける厳密な可逆同価変形マップを用い、サイクル一貫性を保証する。
• 動的変化のためのトポロジー認識ネットワークを組み込み、トポロジー変動対応をモデル化する。
• 訓練中にグローバル最適化でカメラ姿勢を洗練させる。
• 自由空間点と表面点の両方に対してロスを最適化し、色/深度/マスク項、Eikonal正則化、sdf/visible制約、深度認識レンダリングパイプラインを含む。

実験結果

リサーチクエスチョン

• RQ1 双射で可逆な変形モデルは、RGB-Dデータからの非剛体動的再構成におけるサイクルの一貫性を改善し、アーティファクトを減らすことができるか？
• RQ2 動的シーンのニューラル・インプリシット枠組みにおいて、トポロジーの変化をいかに効果的にモデル化できるか？
• RQ3 カノニカル空間での幾何・外観・運動を共同最適化することが、単眼RGB-D入力の再構成忠実度に与える影響は何か？
• RQ4 テンプレートなしで高忠実なジオメトリと運動を共同回復する際、深度手がかりはRGBをどの程度補完できるか？
• RQ5 カメラ姿勢初期化のノイズやデータ条件の変動に対して、手法はどれだけ頑健か？

主な発見

• NDR は、単眼RGB-D動的再構成において、さまざまな物体クラスで DynamicFusion や OcclusionFusion などの融合ベースのベースラインを上回る。
• カノニカル空間での幾何・外観・運動の共同最適化は、より高忠実な表面のディテールと、急速な運動の処理向上をもたらす。
• サイクル一貫性を備えた厳密な可逆変形マップは、アーティファクトを減らし、6D SE(3) 運動表現と比較して局所ジオメトリを改善する。
• RGB のみによる監督を超え、深度手がかりを組み合わせると再構成品質が向上する。
• トポロジー認識変形は、従来の変形法が苦戦していたトポロジー変化を扱えるようにする。
• 本手法は中程度のカメラ姿勢初期化ノイズに対して頑健で、訓練中のグローバル姿勢の refinements によって改善される。