[論文レビュー] NeU-NBV: Next Best View Planning Using Uncertainty Estimation in Image-Based Neural Rendering

Liren Jin, Xieyuanli Chen+2 more|arXiv (Cornell University)|Mar 2, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、画像ベースのニューラルレンダリングにおける不確実性推定を用いて、再訓練を伴わずにRGBカメラの配置を最適化する、マップレスな次なる最良視点（NBV）計画フレームワークであるNeU-NBVを提案する。予測不確実性が最も高いビューを選択することで、神経放射場の再訓練を伴わせることなく、情報を効率的に収集でき、ベースラインと比較して優れたシーン再構築品質を達成する。

ABSTRACT

Autonomous robotic tasks require actively perceiving the environment to achieve application-specific goals. In this paper, we address the problem of positioning an RGB camera to collect the most informative images to represent an unknown scene, given a limited measurement budget. We propose a novel mapless planning framework to iteratively plan the next best camera view based on collected image measurements. A key aspect of our approach is a new technique for uncertainty estimation in image-based neural rendering, which guides measurement acquisition at the most uncertain view among view candidates, thus maximising the information value during data collection. By incrementally adding new measurements into our image collection, our approach efficiently explores an unknown scene in a mapless manner. We show that our uncertainty estimation is generalisable and valuable for view planning in unknown scenes. Our planning experiments using synthetic and real-world data verify that our uncertainty-guided approach finds informative images leading to more accurate scene representations when compared against baselines.

研究の動機と目的

• 限られた測定予算の中で未知のシーンにおけるアクティブな認識の課題に取り組むこと。
• オンラインミッション中に高価なNeRF再訓練を回避するマップレスなNBV計画フレームワークを開発すること。
• 画像ベースのニューラルレンダリングにおける不確実性推定を活用し、最も情報の得られるビューへデータ収集を誘導すること。
• 明示的なグローバルマップを用いずに、標的的な画像収集によってシーン表現の質を向上させること。
• オンラインでのデータ収集とオフラインでのNeRFトレーニングを分離することで、計算効率を向上させること。

提案手法

• フレームワークは、近接する参照画像を共通のエンコーダーで潜在特徴空間にマップし、シーン表現を生成する。
• 真値を必要とせず、学習された不確実性ヘッドを用いて、新規ビュー合成におけるピクセル単位の不確実性を予測する。
• 次なる最良視点は、シーン全体で平均不確実性が最も高い候補として選択される。
• 不確実性推定はシーン間で一般化可能であり、微調整なしに新しい環境へも展開可能である。
• 本手法は、新しい測定値を画像収集に段階的に追加し、リアルタイムで不確実性推定を更新する。
• シーン再構築は、不確実性誘導型プランナによって収集された画像を用いて、オフラインでNeRFをトレーニングすることで実施される。

Figure 1 : Our novel NBV planning framework exploits uncertainty estimation in image-based neural rendering to guide measurement acquisition. Given reference images from the current image collection of the scene (black frustums), our network outputs per-pixel uncertainty estimates at sampled view ca

実験結果

リサーチクエスチョン

• RQ1 画像ベースのニューラルレンダリングにおける不確実性推定は、未知のシーンにおける次なる最良視点計画を効果的に誘導できるか？
• RQ2 不確実性誘導型のビュー選択は、ヒューリスティック的またはランダムな戦略と比較して、シーン再構築品質にどのように寄与するか？
• RQ3 不確実性推定は、再トレーニングやテスト時適応なしに新しいシーンへ一般化可能か？
• RQ4 不確実性に基づく画像収集は、限られたデータ量でもより優れたNeRF性能をもたらすか？
• RQ5 本フレームワークは、計算コストの高いNeRF再トレーニングとオンラインデータ収集を分離できるか？

主な発見

• 不確実性誘導型アプローチは、自動車シーンにおいて、ランダム法（PSNR 25.73 ± 0.83、SSIM 0.908 ± 0.012）と比較して、より高いPSNR（28.35 ± 0.53）とSSIM（0.934 ± 0.004）を達成した。
• 屋内シーンでは、本手法がPSNR 30.46 ± 0.24、SSIM 0.941 ± 0.003を達成し、ランダム計画法（PSNR 28.46 ± 0.92、SSIM 0.920 ± 0.007）を上回った。
• 定性的な結果から、標的的な画像収集のおかげで、たとえば車のボンネットのような構造的詳細がよりよく捉えられていた。
• 再トレーニングのコストを低減するため、データ収集と再構築の分離により、効率的なオンライン運用が可能になった。
• 不確実性誘導型プランナによって収集された画像は、限られたデータ量でも、顕著に優れたNeRFトレーニング性能を示した。
• 不確実性推定はシーン間で一般化可能であり、シーン固有の適応なしに効果的な計画が可能であった。

Figure 2 : Overview of our mapless NBV planning framework. We leverage uncertainty estimation in image-based neural rendering to actively guide measurement acquisition in unknown scenes.