[論文レビュー] BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields

Ágoston István Csehi, Csaba M. Józsa|arXiv (Cornell University)|Oct 5, 2023

Advanced Vision and ImagingComputer Science被引用数 3

ひとこと要約

BID-NeRF は、iNeRF を深度損失、マルチイメージ最適化、階層的サンプリングの削除によって拡張することで、画像の姿勢推定を改善し、Blender データセットにおいても初期姿勢誤差が大きい場合でも、2–4倍の高速化と2.5倍の高い成功率を達成した。

ABSTRACT

We aim to improve the Inverted Neural Radiance Fields (iNeRF) algorithm which defines the image pose estimation problem as a NeRF based iterative linear optimization. NeRFs are novel neural space representation models that can synthesize photorealistic novel views of real-world scenes or objects. Our contributions are as follows: we extend the localization optimization objective with a depth-based loss function, we introduce a multi-image based loss function where a sequence of images with known relative poses are used without increasing the computational complexity, we omit hierarchical sampling during volumetric rendering, meaning only the coarse model is used for pose estimation, and we how that by extending the sampling interval convergence can be achieved even or higher initial pose estimate errors. With the proposed modifications the convergence speed is significantly improved, and the basin of convergence is substantially extended.

研究の動機と目的

• 大きな初期姿勢誤差下でも、iNeRF を基盤とする画像姿勢推定の収束速度と頑健性を向上させること。
• iNeRF の収束のための盆地が小さい問題を、深度監視とマルチイメージ制約を組み込むことで解決すること。
• 階層的サンプリングを排除することで計算コストを低減しつつ、精度を維持または向上させること。
• ロボット工学や SLAM などのリアルタイム応用における実用的導入を可能にするために、最適化の効率を高めること。

提案手法

• NeRF モデルが予測する深度を最適化中の姿勢推定に活用する深度ベースの損失関数を導入する。
• 相対的な姿勢が既知の複数枚の画像を用いた最適化目的関数を拡張し、計算コストを増加させずに収束性を向上させる。
• 粗い NeRF モデルのみを用いてレンダリングすることで、階層的サンプリングを完全に排除し、推論時間とメモリ使用量を半減させる。
• サンプリング間隔を最適化することで、初期姿勢誤差が大きい場合の収束性を向上させる。
• 微分可能なボリュメトリックレンダリングを用い、レンダリングされた画像および深度予測からの勾配を初期姿勢パラメータに逆伝播させる。
• 適応的学習率を用いた一次近似最適化を適用し、色と深度損失を用いて繰り返し姿勢推定値を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 深度監視は、iNeRF の画像姿勢推定における収束速度と頑健性を向上させることができるか？
• RQ2 相対的な姿勢が既知の複数枚の画像を用いることで、計算複雑性を増加させずに収束のための盆地を拡大できるか？
• RQ3 階層的サンプリングの排除によって、推論時間は著しく短縮されるが、精度は維持または向上するか？
• RQ4 サンプリング間隔を拡張することで、初期姿勢誤差が大きい場合の収束性はどの程度向上するか？
• RQ5 多様な初期姿勢誤差の下で、BID-NeRF は iNeRF と比較して収束速度と成功率の面でどの程度優れているか？

主な発見

• Blender データセットにおいて、BID-NeRF は最適化ステップ 1000 回で並進誤差と回転誤差の両方で 95% の収束率を達成したのに対し、iNeRF はそれぞれ 38% と 42% にとどまった。
• 初期誤差の大きさに応じて、収束速度が 2–4 倍向上した。Mann-Whitney U 検定により、p < 10−4 の有意差が確認された。
• 階層的サンプリングの排除により、最適化ステップあたりの推論時間が 2 倍短縮されたが、精度に損なわれはなかった。
• マルチイメージ損失の導入により、収束のための盆地が拡大され、特に初期姿勢誤差が大きい場合に顕著に効果を示した。
• 高い初期誤差下でも BID-NeRF は 600–800 ステップで収束し、RTX 3090 上で AdaNeRF を用いることで、1 回の推定が 5–6 秒で実行可能となった（リアルタイム性能）。
• 本手法は NeRF モデルに依存せず、高速な NeRF 実装とも互換性があるため、ロボット工学や SLAM システムへの実用的導入が可能である。