[論文レビュー] SimpleRecon: 3D Reconstruction Without 3D Convolutions

Mohamed Sayed, John Gibson+4 more|arXiv (Cornell University)|Aug 31, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

SimpleRecon は、2次元畳み込みニューラルネットワーク（2D CNN）と、多様な幾何的およびキーフレームメタデータを統合した平面スイープコストボリュームを用いることで、3次元畳み込みを用いずに最先端の3次元再構成を達成する。この手法は、深度推定と再構成精度において先行手法を上回り、リソース制約のあるデバイスでもリアルタイムかつ低メモリで推論を可能にする。

ABSTRACT

Traditionally, 3D indoor scene reconstruction from posed images happens in two phases: per-image depth estimation, followed by depth merging and surface reconstruction. Recently, a family of methods have emerged that perform reconstruction directly in final 3D volumetric feature space. While these methods have shown impressive reconstruction results, they rely on expensive 3D convolutional layers, limiting their application in resource-constrained environments. In this work, we instead go back to the traditional route, and show how focusing on high quality multi-view depth prediction leads to highly accurate 3D reconstructions using simple off-the-shelf depth fusion. We propose a simple state-of-the-art multi-view depth estimator with two main contributions: 1) a carefully-designed 2D CNN which utilizes strong image priors alongside a plane-sweep feature volume and geometric losses, combined with 2) the integration of keyframe and geometric metadata into the cost volume which allows informed depth plane scoring. Our method achieves a significant lead over the current state-of-the-art for depth estimation and close or better for 3D reconstruction on ScanNet and 7-Scenes, yet still allows for online real-time low-memory reconstruction. Code, models and results are available at https://nianticlabs.github.io/simplerecon

研究の動機と目的

• モバイルデバイスなどのリソース制約のある環境において、3次元再構成における3次元畳み込みの高い計算コストを低減すること。
• 従来の2段階の3次元再構成パイプライン（深度推定 → 結合）を再考し、高価な3次元畳み込みに依存せず、深度品質の向上を図ること。
• 強力な2次元畳み込みニューラルネットワーク、幾何的事前知識、および画像固有のメタデータをコストボリュームに統合することで、マルチビュー深度推定の精度を向上させること。
• 高品質な深度予測そのものだけで、エンドツーエンドの3次元ボリュメトリック手法に匹敵またはそれを上回る3次元再構成を達成できることを示すこと。
• 3次元特徴学習の複雑さに依存せず、深度品質に焦点を当てることで、市販のTSDF結合を用いたリアルタイムでオンラインの再構成を実現すること。

提案手法

• 複数の入力画像から深度を推定するために、画像の事前知識と平面スイープ3次元特徴ボリュームを備えた2次元畳み込みニューラルネットワーク（2D CNN）を採用する。
• 多段階のMLPを用いて、キーフレームおよび幾何的メタデータ（例：ポーズ距離、レイの方向、角度、深度、マスク）をコストボリュームに統合し、情報に基づいた深度平面スコアリングを実現する。
• 16または64の特徴チャネルを用いたドット積ベースのコストボリューム低減を、アーキテクチャ的選択と訓練損失関数によって最適化する。
• 幾何的損失関数と画像レベルの監視を適用し、複数の視点間での深度の正確性と一貫性を向上させる。
• 3次元畳み込みや複雑なボリュメトリック学習を回避するため、市販のTSDF結合を3次元表面再構成に用いる。
• 最大8つのソースビューを、ポーズに基づくフレーム順序付けを用いて統合し、深度推定の耐障害性と精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みを用いずに、改善された深度推定に注力することで、高精度な3次元再構成を達成できるか？
• RQ2 コストボリュームに幾何的およびキーフレームメタデータを統合することで、深度予測精度にどのような影響を与えるか？
• RQ3 2次元畳み込みニューラルネットワークに平面スイープコストボリュームを組み合わせた手法が、3次元畳み込みベースの手法に比べて、深度および再構成品質でどの程度優れているか？
• RQ4 2次元ネットワークと標準的な結合を用いた「基本に戻る」アプローチが、実世界のシナリオにおいてエンドツーエンドの3次元ボリュメトリック学習を上回るか？
• RQ5 この手法は、制約のない、日常的・非計画的なデータ（屋外シーンやスマートフォンで撮影された映像など）にも一般化できるか？

主な発見

• SimpleRecon は、ScanNetv2 において、絶対差分（Abs Diff）が 0.0885、delta < 1.05 の精度が 73.16% という、新たな最先端の深度推定性能を達成した。
• 市販のTSDF結合を用いて、ScanNet および 7-Scenes でも現在の3次元再構成の最先端性能に匹敵またはそれを上回り、チェイミング距離が 5.81、Fスコアが 67.1 を達成した。
• アブレーションスタディの結果、コストボリュームにポーズ距離、レイの方向、深度、マスクなどのメタデータを追加することで、ベースラインと比較して Abs Diff が 0.0056 減少し、精度が顕著に向上した。
• 2フレームではなく8つの順序付きフレームを使用することで、delta < 1.05 のスコアは 57.15% から 73.16% に上昇し、より多くの視点が得られることによるスケーラビリティの高さが示された。
• 未学習データ、特に屋外シーンやスマートフォンで撮影された映像に対しても、良好な一般化性能を示し、リアルタイムで高品質なメッシュ再構成を実現した。
• コストボリュームを削除（モノクローラル化）した場合、性能は著しく低下（Abs Diff = 0.1742）し、スケールに依存した深度推定にはマルチビューのコストボリュームが不可欠であることが証明された。