[論文レビュー] NeRF-Det: Learning Geometry-Aware Volumetric Representation for Multi-View 3D Object Detection

Chenfeng Xu, BoRui Wu+9 more|arXiv (Cornell University)|Jul 27, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

NeRF-Det は、共有 MLP を介して NeRF ブランチと検出ヘッドを共同で学習することにより、RGB 画像のみを用いて幾何学的注意を払ったボリュメトリック表現を提案する。Per-scene の NeRF 最適化を必要とせず、mAP を ScanNet で 3.9、ARKITScenes で 3.1 向上させ、SOTA の性能を達成するとともに、未学習のシーンへの一般化が可能であり、新規ビュー合成と深度推定も可能である。

ABSTRACT

We present NeRF-Det, a novel method for indoor 3D detection with posed RGB images as input. Unlike existing indoor 3D detection methods that struggle to model scene geometry, our method makes novel use of NeRF in an end-to-end manner to explicitly estimate 3D geometry, thereby improving 3D detection performance. Specifically, to avoid the significant extra latency associated with per-scene optimization of NeRF, we introduce sufficient geometry priors to enhance the generalizability of NeRF-MLP. Furthermore, we subtly connect the detection and NeRF branches through a shared MLP, enabling an efficient adaptation of NeRF to detection and yielding geometry-aware volumetric representations for 3D detection. Our method outperforms state-of-the-arts by 3.9 mAP and 3.1 mAP on the ScanNet and ARKITScenes benchmarks, respectively. We provide extensive analysis to shed light on how NeRF-Det works. As a result of our joint-training design, NeRF-Det is able to generalize well to unseen scenes for object detection, view synthesis, and depth estimation tasks without requiring per-scene optimization. Code is available at \url{https://github.com/facebookresearch/NeRF-Det}.

研究の動機と目的

• 深度センサを用いずに、RGB 画像のみを用いた屋内シーンにおける 3D 物体検出の課題に取り組む。
• 従来の方法が曖昧な 3D ボリューム表現に依存する implicit geometry modeling の限界を克服する。
• Per-scene 最適化の遅延を伴わず、NeRF の強力な幾何的インダクティブバイアスを 3D 検出に統合する。
• 再トレーニングなしに、未学習のシーンへの一般化を検出、新規ビュー合成、深度推定の両方で可能にする。
• NeRF と検出ブランチの共同学習により、マルチビューの一貫性を活用して検出性能を向上させる。

提案手法

• NeRF と検出ブランチの間に共有 MLP を導入し、NeRF から画像特徴への勾配伝播を可能にすることで、幾何学的注意を払った表現を向上させる。
• 空間的詳細を保持するために、低解像度のボリューム特徴ではなく、高解像度の画像特徴マップに沿ったレイに沿った特徴をサンプリングする。
• 空間統計（平均と分散）および色情報といった幾何学的事前知識を画像特徴に追加し、NeRF の一般化を向上させる。
• 予測された密度場を透過率場に変換し、ボリューム特徴をモodulateすることで、空の領域を抑制し、検出精度を向上させる。
• 写真的一致性のための光度損失と、必要に応じて深度監督を用いて、NeRF と検出ブランチをエンドツーエンドで学習する。
• 推論時において NeRF ブランチを削除することで、オーバーヘッドを最小限に抑えつつ、検出に幾何学的注意を払った特徴を保持する。

実験結果

リサーチクエスチョン

• RQ1 Per-scene 最適化を伴わず、NeRF を 3D 物体検出に効果的に統合できるか？効率性を維持できるか？
• RQ2 NeRF と検出ブランチの共同学習は、幾何モデリングと検出性能をどのように向上させるか？
• RQ3 画像レベルの幾何学的事前知識（例：平均、分散、色）は、未学習のシーンへの NeRF の一般化をどの程度向上させるか？
• RQ4 Per-scene の微調整なしに、NeRF ブランチは新規ビュー合成と深度推定に一般化できるか？
• RQ5 光度損失と深度監督のどちらが、NeRF を用いた検出における幾何学的学習に相対的に寄与しているか？

主な発見

• ScanNet では 50.1 mAP@0.25 および 24.4 mAP@0.50 を達成し、SOTA を 3.9 mAP 以上上回った。
• ARKITScenes では 50.0 mAP@0.25 および 24.2 mAP@0.50 を達成し、SOTA を 3.1 mAP 以上上回った。
• ボリューム特徴の代わりに画像特徴をサンプリングすることで、mAP が 0.7 向上し、新規ビュー合成の PSNR が 1.58 向上した。
• 分散と色の特徴を追加することで、mAP@0.25 は 0.7、mAP@0.50 は 0.6 向上した（平均のみの特徴と比較）。
• NeRF ブランチは未学習のシーンに対しても良好に一般化され、新規ビュー合成で 20.51 PSNR、深度推定で 0.756 RMSE を達成した（Per-scene 最適化なし）。
• 検出ブランチを削除すると NeRF の性能がわずかに向上（PSNR 20.94 vs 20.51）し、検出が NeRF に有用な低レベルの詳細を抑制している可能性がある。