[論文レビュー] Uncertainty-Driven Active Vision for Implicit Scene Reconstruction

Edward Smith, Michal Drozdzal+3 more|arXiv (Cornell University)|Oct 3, 2022

Advanced Vision and Imaging被引用数 5

ひとこと要約

本論文は、体積レンダリングを用いた占有度の不確実性推定により最適な視点を選択することで、最小限の視点数で顕示的シーン再構築を実現する不確実性駆動型アクティブビジョンフレームワークを提案する。ABCおよびCO3Dデータセットにおいて2Dの監視のみを用いて最先端の結果を達成し、視点選択および形状理解の面で強力なベースラインを上回る。

ABSTRACT

Multi-view implicit scene reconstruction methods have become increasingly popular due to their ability to represent complex scene details. Recent efforts have been devoted to improving the representation of input information and to reducing the number of views required to obtain high quality reconstructions. Yet, perhaps surprisingly, the study of which views to select to maximally improve scene understanding remains largely unexplored. We propose an uncertainty-driven active vision approach for implicit scene reconstruction, which leverages occupancy uncertainty accumulated across the scene using volume rendering to select the next view to acquire. To this end, we develop an occupancy-based reconstruction method which accurately represents scenes using either 2D or 3D supervision. We evaluate our proposed approach on the ABC dataset and the in the wild CO3D dataset, and show that: (1) we are able to obtain high quality state-of-the-art occupancy reconstructions; (2) our perspective conditioned uncertainty definition is effective to drive improvements in next best view selection and outperforms strong baseline approaches; and (3) we can further improve shape understanding by performing a gradient-based search on the view selection candidates. Overall, our results highlight the importance of view selection for implicit scene reconstruction, making it a promising avenue to explore further.

研究の動機と目的

• 小さな視点予算下における顕示的シーン再構築におけるアクティブな視点選択に関する研究の不足に対処すること。
• ヒューリスティックなカバレッジや情報量の増加に依存するのではなく、再構築の不確実性を最小化することを目的とした視点選択手法の開発。
• 2Dまたは3Dの監視の両方で学習可能な、占有度ベースの再構築モデルの構築。
• レイベースの体積レンダリングによる観測可能不確実性の推定を通じて、視点空間の効率的探索を可能にすること。
• 勾配ベースの視点候補探索が形状理解をさらに向上させることを示すこと。

提案手法

• 本手法は、2Dの監視（レンダリングされた画像から）または3Dの監視（真値の占有度から）を用いて、マルチビュー画像から3Dの占有度確率を予測するニューラルインクリメントモデルを用いる。
• 体積レンダリングを拡張し、レイに沿って予測された占有度確率を累積することで、シーンの観測されていない領域における不確実性推定を可能にする。
• 視点選択は、モデルの不確実性を低減する可能性が最も高い視点を特定する、視点に依存する不確実性指標によって駆動される。
• 不確実性推定はレイ全体にわたって計算され、候補視点の順位付けにスコアとして用いられ、高不確実性領域を露わにする視点が優先される。
• 視点候補の位置に対する勾配ベースの最適化を適用し、視点選択を精緻化することで、形状再構築品質を向上させる。
• 本フレームワークは、合成データ（ABC）および実世界データ（CO3D）の両方で評価され、多様なシーンタイプにわたる頑健性が示された。

実験結果

リサーチクエスチョン

• RQ1 不確実性駆動型視点選択は、最大カバレッジや情報量の増加といったヒューリスティック手法を上回るか？
• RQ2 不確実性駆動型アクティブビジョンと組み合わせた2Dの監視は、高品質な占有度再構築を達成するのにどの程度有効か？
• RQ3 視点候補に対する勾配ベースの最適化は、低視点数環境下での形状理解をさらに向上させるか？
• RQ4 視点に依存する不確実性推定は、標準的な不確実性測定よりもより情報の多い視点取得を可能にするか？
• RQ5 本手法は、実世界データを含む多様なシーンタイプに一般化できるか？

主な発見

• 提案された再構築モデルは、2Dの監視のみを用い、最大100枚の入力ビューを用いてもABCデータセットで最先端のパフォーマンスを達成した。
• 不確実性駆動型視点選択ポリシーは、ABCおよびCO3Dデータセットの両方でボリュメトリックおよび投影ベースの指標において、強力なベースラインを顕著に上回った。
• CO3Dデータセットでは、3Dの監視が存在しない状況でも高いパフォーマンスを維持した。これは、実世界データに対して高い頑健性を示している。
• 視点候補に対する勾配ベースの探索の活用により、形状理解に測定可能な向上が見られ、特に複雑または遮蔽された領域で顕著であった。
• キャリブレーション曲線は、良好にキャリブレートされた不確実性推定を示し、検証セットでは不確実性誤差が0.031、テストセットでは0.052であった。これは信頼性の高い不確実性評価を示している。
• 本手法は再構築の不確実性を効果的に低減しており、体積レンダリングによる観測可能不確実性の推定が、実際のシーン幾何の改善と強い相関を示した。