[論文レビュー] CBARF: Cascaded Bundle-Adjusting Neural Radiance Fields from Imperfect Camera Poses

Hongyu Fu, Xin Yu+2 more|arXiv (Cornell University)|Oct 15, 2023

Advanced Vision and ImagingComputer Science被引用数 3

ひとこと要約

CBARFは、複数段階のバンドル調整（BA）を段階的に適用するキャスケード型で、隣接ビューの交換戦略を用いて、Neural Radiance Fields（NeRF）における不正確または欠落したカメラポーズの最適化を実現する。この手法により、大きなポーズノイズや部分的なポーズ入力が与えられた場合でも、新規ビュー合成の品質が顕著に向上する。訓練中に真値ポーズを必要としない点を除き、Pose最適化およびビュー合成の両面で最先端の性能を達成する。

ABSTRACT

Existing volumetric neural rendering techniques, such as Neural Radiance Fields (NeRF), face limitations in synthesizing high-quality novel views when the camera poses of input images are imperfect. To address this issue, we propose a novel 3D reconstruction framework that enables simultaneous optimization of camera poses, dubbed CBARF (Cascaded Bundle-Adjusting NeRF).In a nutshell, our framework optimizes camera poses in a coarse-to-fine manner and then reconstructs scenes based on the rectified poses. It is observed that the initialization of camera poses has a significant impact on the performance of bundle-adjustment (BA). Therefore, we cascade multiple BA modules at different scales to progressively improve the camera poses. Meanwhile, we develop a neighbor-replacement strategy to further optimize the results of BA in each stage. In this step, we introduce a novel criterion to effectively identify poorly estimated camera poses. Then we replace them with the poses of neighboring cameras, thus further eliminating the impact of inaccurate camera poses. Once camera poses have been optimized, we employ a density voxel grid to generate high-quality 3D reconstructed scenes and images in novel views. Experimental results demonstrate that our CBARF model achieves state-of-the-art performance in both pose optimization and novel view synthesis, especially in the existence of large camera pose noise.

研究の動機と目的

• NeRFおよびBARFが、3D再構築中に不正確または欠落したカメラポーズを処理する能力に制限を抱えることに対処すること。
• カメラポーズが大きなノイズによって汚染されたり、一部が利用できない場合でも、ニューラルレイトランスフィールドのロバスト性を向上させること。
• 訓練中に真値ポーズを必要としないポーズ最適化フレームワークを開発し、信頼性の低いポーズ推定を持つ実世界の画像コレクションへの実用的適用を可能にすること。
• キャスケード型BAと新規の隣接ビュー交換戦略を用いて、カメラポーズを段階的に精緻化することで、新規ビュー合成の品質を向上させること。

提案手法

• CBARFは、各段階で前段階の最適化済みポーズを初期化として用いる、コンパクトなバンドル調整（BA）モジュールの粗いから細かい段階へのキャスケードを採用して、カメラポーズを段階的に精緻化する。
• BA後に不正確に推定されたカメラポーズを特定するための新規基準を導入し、レンダリング画像の品質に基づき、非最大抑制を併用して強化する。
• 隣接ビュー交換戦略により、識別された不正確なポーズを隣接するビューからのものに置き換えることで、ポーズ誤差をさらに低減し、シーンの一貫性を向上させる。
• ポーズ最適化後に高精度な3Dシーン再構築および新規ビューレンダリングを実現するため、密度ボクセルグリッドを用いる。
• 訓練中に真値の監視なしに、光度損失を用いて自己教師ありの方法でカメラポーズ最適化を実施する。
• 評価時には、正確なポーズ誤差の計算のため、最適化済みポーズを真値と一致させるために、プロクラステス解析を適用する。

実験結果

リサーチクエスチョン

• RQ1 初期ポーズにノイズや不正確さがある場合、キャスケード型バンドル調整フレームワークはNeRFにおけるカメラポーズ最適化を改善できるか？
• RQ2 訓練中に真値の監視なしに、不正確なカメラポーズをどのように特定・是正できるか？
• RQ3 隣接するカメラポーズを用いた隣接ビュー交換戦略は、ポーズ精緻化および新規ビュー合成品質をどの程度向上させるか？
• RQ4 COLMAPが一部の画像に対してポーズを推定できない場合のような、カメラポーズが欠落している状況では、本手法はどのように動作するか？
• RQ5 本手法は、現実世界の厳しい条件下でも、ポーズ最適化およびビュー合成の両面で最先端の性能を達成できるか？

主な発見

• CBARFは、大きなポーズノイズ下でも、ベースラインのBARFおよびNeRF-syntheticデータセット上でのCOLMAPを常に上回る、カメラポーズ最適化における最先端の性能を達成する。
• BlendedMVSデータセット（10％のカメラポーズが欠落）において、CBARFはBARFよりも高品質なレンダリング画像を生成し、優れた暗黙的ポーズ最適化を示している。
• 隣接ビュー交換戦略は、BAが収束しない領域において特に顕著に、ポーズ誤差を効果的に低減し、ポーズ誤差の低減に寄与している。
• 段階数を動的に制御するキャスケード型BA設計により、単一段階のBAに比べて過剰な反復を避けることができ、過学習を抑制するとともに計算コストを削減する。
• PSNRやLPIPSなどのレンダリング品質指標から、CBARFが生成する新規ビューは、ノイズや欠落した入力ポーズがあっても、視覚的および定量的に真値画像と同等の品質を達成している。
• グローバルポーズオフセットに対しても本手法はロバストである。訓練中に監視なしに、Procrustesアライメントによりポーズ誤差の正確な評価が可能である。