[論文レビュー] NeuralRecon: Real-Time Coherent 3D Reconstruction from Monocular Video

Jiaming Sun, Yiming Xie+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Vision and Imaging参考文献 54被引用数 4

ひとこと要約

NeuralRecon は、3D スパース畳み込みと GRU を用いた融合モジュールを用いて、局所的な動画断片のスパース TSDF ボリュームを直接予測する学習ベースでリアルタイムな 3D 再構成システムを提案する。これにより、33 FPS で密度高く一貫性があり正確な 3D ジオメトリ再構成が可能となり、従来手法を上回る速度と正確性を実現するとともに、深層学習を用いたリアルタイムで一貫性のある再構成を達成する最初の手法である。

ABSTRACT

We present a novel framework named NeuralRecon for real-time 3D scene reconstruction from a monocular video. Unlike previous methods that estimate single-view depth maps separately on each key-frame and fuse them later, we propose to directly reconstruct local surfaces represented as sparse TSDF volumes for each video fragment sequentially by a neural network. A learning-based TSDF fusion module based on gated recurrent units is used to guide the network to fuse features from previous fragments. This design allows the network to capture local smoothness prior and global shape prior of 3D surfaces when sequentially reconstructing the surfaces, resulting in accurate, coherent, and real-time surface reconstruction. The experiments on ScanNet and 7-Scenes datasets show that our system outperforms state-of-the-art methods in terms of both accuracy and speed. To the best of our knowledge, this is the first learning-based system that is able to reconstruct dense coherent 3D geometry in real-time.

研究の動機と目的

• 各フレームごとに深度マップを推定して後から融合する深度ベースの再構成パイプラインの限界、すなわち一貫性の欠如と冗長性を解消する。
• 深層学習を用いてモノクローラル動画ストリームからリアルタイムで密度高く、グローバルに一貫性のある 3D 再構成を実現する。
• 個々の単一視点深度推定がもたらすスケールの不一致や幾何的アーチファクトを、局所的な動画断片内で同時に表面を再構成することで克服する。
• 過去に再構築されたグローバルジオメトリを条件として現在の再構成を保証する、微分可能で再帰的な融合メカニズムを導入する。
• 33 FPS のリアルタイム性能を維持しながら、高い再構成精度を達成し、既存の学習ベースおよび非学習ベースの手法を上回る。

提案手法

• 2D イメージエンコーダーを用いてモノクローラル動画フレームを処理し、特徴量を抽出。その後、これらの特徴量を3次元スパース特徴ボリュームにアンプロジェクションする。
• 粗くから細かくまでの3次元スパース畳み込みネットワークを適用し、各局所的動画断片のスパース TSDF ボリュームを予測。局所的な滑らかさとグローバルな形状の事前知識を学習する。
• ゲート付き再帰ユニット（GRU）を用いて、現在の断片からの特徴量と、以前に再構築されたジオメトリの隠れ状態を融合。文脈に配慮した逐次的再構成を可能にする。
• 融合処理は、占有ボリューム（OCC）または断片のバウンディングボリューム（FBV）で実施され、FBV は文脈統合を向上させ、アーチファクトを低減する利点がある。
• GRU を用いた融合モジュールにより、時間的・空間的整合性を保ちながら、線形的または平均的融合よりも一貫性のある幾何的情報を選択的に統合。これにより、耐障害性と完全性が向上する。
• 融合された TSDF ボリュームに対して Marching Cubes を用いて最終的な表面を再構築。これにより、3D ディテクション やニューラルレンダリングなどの後続タスクへの直接利用が可能になる。

Figure 1: Comparison between depth-based 3D reconstruction methods and the proposed method. In depth-based methods, key-frame depths are estimated separately from each key frame, and later fused into a TSDF volume. In the proposed method, the TSDF volume is directly predicted with all the key frames

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのシステムは、分離された深度推定と融合の欠点を避けるために、モノクローラル動画からリアルタイムに 3D ジオメトリを共同で再構築・統合できるか？
• RQ2 従来の線形的または平均的融合と比較して、GRU を用いた再帰的融合モジュールは、グローバルな整合性を維持し、再構成品質を向上させるのにどの程度有効か？
• RQ3 （全体のシーンではなく）局所的な動画断片内で再構築することで、幾何的整合性が向上し、遠くのまたは関係のない視点からのノイズが低減されるか？
• RQ4 スパースで粗くから細かくまでの3次元 CNN アーキテクチャは、一般消費者用ハードウェアでもリアルタイムの推論速度を維持しながら、高精細な再構成を達成できるか？
• RQ5 直接 TSDF フュージョンではなく、特徴量の統合を用いることで、再構成の正確性と完全性はどの程度向上するか？

主な発見

• NeuralRecon は 33 フレーム／秒を達成しており、以前の最先端のボリュームベース手法である Atlas よりも約 10 倍速く、優れた正確性を維持している。
• ScanNet データセットにおいて、9 視断片を用いた場合、3D F スコアが 0.516 に達し、再構成品質において、深度ベースおよびボリュームベースのベースラインを上回っている。
• 平均的または線形的融合ではなく GRU を用いた融合により、再現率が 4% 向上（0.535 → 0.572）し、壁や家具のような難しい表面でもメッシュの完全性が向上している。
• 断片のバウンディングボリューム（FBV）内で特徴量を融合すると、占有ボリューム（OCC）内での融合に比べて F スコアが 6.5% 高くなる。境界での文脈統合の利点が示されている。
• 定性的な比較において、Atlas や深度ベースのベースラインと比較して、NeuralRecon はより鋭く一貫性のあるジオメトリを生成し、アーチファクトが少なく、視点間でスケールが一貫していることが確認された。
• アブレーションスタディにより、断片長を 5 視点から 9 視点に増やすことで F スコアが 2% 以上向上し、断片ごとの視点数を増やすことで再構成精度が向上することが確認された。

Figure 2: NeuralRecon architecture. NeuralRecon predicts TSDF with a three-level coarse-to-fine approach that gradually increases the density of sparse voxels. Key-frame images in the local fragment are first passed through the image backbone to extract the multi-level features. These image features