[論文レビュー] Uncertainty Guided Policy for Active Robotic 3D Reconstruction using Neural Radiance Fields

Soomin Lee, Le Chen+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、ニューラルレイトランスフィールド（NeRF）を用いたアクティブロボット3D再構築のための不確実性誘導型次善ビュー方策を提案する。NeRF表現における光線に沿った重み分布のエントロピーを計算することで、体積的不確実性を推定し、再構築品質を向上させるためにビュー選択を誘導する。合成および実世界のベンチマークにおいて、少ないビュー数で最先端の結果を達成した。

ABSTRACT

In this paper, we tackle the problem of active robotic 3D reconstruction of an object. In particular, we study how a mobile robot with an arm-held camera can select a favorable number of views to recover an object's 3D shape efficiently. Contrary to the existing solution to this problem, we leverage the popular neural radiance fields-based object representation, which has recently shown impressive results for various computer vision tasks. However, it is not straightforward to directly reason about an object's explicit 3D geometric details using such a representation, making the next-best-view selection problem for dense 3D reconstruction challenging. This paper introduces a ray-based volumetric uncertainty estimator, which computes the entropy of the weight distribution of the color samples along each ray of the object's implicit neural representation. We show that it is possible to infer the uncertainty of the underlying 3D geometry given a novel view with the proposed estimator. We then present a next-best-view selection policy guided by the ray-based volumetric uncertainty in neural radiance fields-based representations. Encouraging experimental results on synthetic and real-world data suggest that the approach presented in this paper can enable a new research direction of using an implicit 3D object representation for the next-best-view problem in robot vision applications, distinguishing our approach from the existing approaches that rely on explicit 3D geometric modeling.

研究の動機と目的

• 情報利得を最大化するカメラポーズ選択が求められるロボットシステムにおけるアクティブ3D再構築の課題に対処すること。
• ノイズ、オクルージョン、再構築アーチファクトに苦しむ、点群やボクセルなどの明示的3D表現に依存する従来手法の限界を克服すること。
• 高精度な幾何学的・外観モデリングを提供する暗黙的ニューラル表現（例：NeRF）を用いて、効率的かつ正確な高密度3D再構築を可能にすること。
• さまざまなNeRFベースのアーキテクチャに適用可能な汎用的な不確実性推定手法の開発

提案手法

• NeRF表現における各光線に沿った色サンプルの重み分布のエントロピーを計算することで、光線ベースの体積的不確実性推定器を提案する。
• 推定された不確実性を幾何的曖昧性の代理指標として用い、高不確実性領域（追加観測が必要な領域）を特定可能にする。
• 高不確実性を優先しつつ、局所的で重複するビュー選択を避けるために領域クラスタリングを適用する次善ビュー選択方策を設計する。
• NeRFを各新規ビュー取得後に再訓練する反復的再構築パイプラインに、不確実性誘導型方策を統合する。
• モデルに依存しない適用可能性を実証するため、標準NeRFおよび高速版のTensoRFの両方で手法を検証し、一貫した性能向上を示した。
• 動的ビュー計画に不確実性推定器を活用し、最小限のビュー数で3D再構築品質が段階的に向上することを保証する。

実験結果

リサーチクエスチョン

• RQ1 NeRF光線の重み分布における不確実性は、暗黙的3D表現における幾何的不確実性の信頼できる代理指標として機能するか？
• RQ2 不確実性誘導型方策は、ランダム、ヒューリスティック、類似度ベースのベースラインと比較して、アクティブ3D再構築のための情報量の多い次善ビューを効果的に選択できるか？
• RQ3 全ビュー取得と比較して、必要なビュー数をどの程度削減できるか、かつ再構築品質を維持または向上できるか？
• RQ4 不確実性推定手法は、TensoRFのような高速バージョンを含む、さまざまなNeRFベースのアーキテクチャに一般化可能か？

主な発見

• 提案手法の不確実性誘導型方策は、54枚の画像を用いてLegoベンチマークでFスコア0.5078を達成し、ランダム（0.4895）、ヒューリスティック（0.4234）、類似度ベース（0.4163）の各方策を上回った。
• わずか54枚の画像で、150枚すべての画像を用いた場合と同等の3Dメッシュ品質を達成した。これは、極めて高いサンプル効率を示している。
• ピクセル平均エントロピーは、初期状態の1.748から4回の反復後には0.790に低下し、不確実性の段階的減少と再構築の信頼性向上を確認した。
• TensoRFを用いることで、不確実性計算時間は5分から2.8分に短縮され、高速NeRF実装とも互換性があることが示された。
• アブレーションスタディにより、領域クラスタリングが視点の集中を防ぎ、オクルージョン領域のカバーを可能にするため、再構築品質を顕著に向上させることを確認した。
• 最小限の再トレーニングでTensoRFへも成功したトランスファーを示し、NeRF変種間での一般化が可能であることを実証した。