[論文レビュー] ActiveRMAP: Radiance Field for Active Mapping And Planning

Huangying Zhan, Jiyang Zheng+3 more|arXiv (Cornell University)|Nov 23, 2022

Advanced Vision and Imaging被引用数 20

ひとこと要約

ActiveRMAPは事前学習なしでハイブリッドな暗黙-明示放射場（DVGO）を用いたオンラインRGB専用の能動視覚フレームワークを提示し、オフライン手法と比較してレンダリングおよび再構成の結果が競合的で、NeRFベースの能動的アプローチの一部を上回る。

ABSTRACT

A high-quality 3D reconstruction of a scene from a collection of 2D images can be achieved through offline/online mapping methods. In this paper, we explore active mapping from the perspective of implicit representations, which have recently produced compelling results in a variety of applications. One of the most popular implicit representations - Neural Radiance Field (NeRF), first demonstrated photorealistic rendering results using multi-layer perceptrons, with promising offline 3D reconstruction as a by-product of the radiance field. More recently, researchers also applied this implicit representation for online reconstruction and localization (i.e. implicit SLAM systems). However, the study on using implicit representation for active vision tasks is still very limited. In this paper, we are particularly interested in applying the neural radiance field for active mapping and planning problems, which are closely coupled tasks in an active system. We, for the first time, present an RGB-only active vision framework using radiance field representation for active 3D reconstruction and planning in an online manner. Specifically, we formulate this joint task as an iterative dual-stage optimization problem, where we alternatively optimize for the radiance field representation and path planning. Experimental results suggest that the proposed method achieves competitive results compared to other offline methods and outperforms active reconstruction methods using NeRFs.

研究の動機と目的

• 暗黙表現を用いた pre-training なしでオンラインの能動マッピングと計画を動機づけ、実現する。
• 放射場推定と経路計画を交互に行うデュアルステージ最適化フレームワークを開発する。
• 深度監視と事前学習要件を排除し、カラー画像のみを使用する。
• 衝突回避、幾何情報利得、経路効率を計画に組み込む。

提案手法

• DVGOをハイブリッドな暗黙-明示放射場として用い、粗いマッピングを迅速に行い高品質な refinements を実現する。
• 衝突ペナルティ、情報利得、経路効率を組み合わせた differentiable な多目的最適化として計画を定式化する。
• ビューフラスタムから算出される終了エントロピーに基づく情報利得を導入し、NBV選択をガイドする。
• 軌道を2次ベジェ曲線で表現し、滑らかで実行可能な運動を保証する。
• NeRFモデルを事前学習せず、新しい観測で放射場をオンラインに逐次更新して動作する。

実験結果

リサーチクエスチョン

• RQ1 RGBのみのオンラインNeRFに似たフレームワークが、事前学習モデルや深度データなしで競合的な能動的マッピングと計画を実現できるか。
• RQ2 viewpoints から観測された3D点の終了確率エントロピーを、NBV選択の情報利得基準としてどのように用いるか。
• RQ3 能動SLAMにおける衝突回避、情報利得、軌道効率へ multi-objective planning loss が与える影響は。
• RQ4 提案するオンラインフレームワークは、オフラインのNeRF系手法や既存のNeRFベース能動再構成法と比較して、レンダリングと再構成品質においてどう評価されるか。

主な発見

• 完全なオンライン版のActiveRMAPは、事前学習を用いなくてもSynthetic-NeRFレンダリングでPSNR 30.181、SSIM 0.942、LPIPS 0.063を達成する。
• オフラインのNeRF系ベースライン（NeRF: 31.01/0.947/0.081; Mip-NeRF: 33.09/0.961/0.043; DVGO: 31.82/0.955/0.055）と比較して、提案手法はオンライン動作と能動的視点選択を提供しつつレンダリング品質で競合性を維持する。
• ActiveRMAPは能動再構成シナリオのいくつかのベースラインを上回り、既存のNeRFベース能動法（例：ActiveNeRF）に対しても競合的な結果を示す。
• エントロピーに基づく情報利得基準を導入し、NBV選択をランダム、最遠視、不確実性ベースのベースラインよりも改善した。
• 計画モジュールは、衝突回避、情報利得、経路効率を微分可能な多目的損失で効果的にバランスし、オンラインの軌道最適化を可能にする。