[論文レビュー] Robustifying the Multi-Scale Representation of Neural Radiance Fields

Nishant Jain, Suryansh Kumar+1 more|arXiv (Cornell University)|Oct 9, 2022

Robotics and Sensor-Based Localization被引用数 6

ひとこと要約

本稿では、シーンの剛性とGNNベースのモーショングラフ平均化フレームワークを活用することで、マルチスケール画像処理とカメラポーズ推定誤差を統合的に扱う、ロバストなマルチスケールニューラルレイトランスフィールド手法RM-NeRFを提案する。ベンチマークデータセット上でMip-NeRFおよびBARFを上回り、合成および実際のマルチビュー画像を用いた現実的でノイズの多い実世界条件下でも最先端の結果を達成する。

ABSTRACT

Neural Radiance Fields (NeRF) recently emerged as a new paradigm for object representation from multi-view (MV) images. Yet, it cannot handle multi-scale (MS) images and camera pose estimation errors, which generally is the case with multi-view images captured from a day-to-day commodity camera. Although recently proposed Mip-NeRF could handle multi-scale imaging problems with NeRF, it cannot handle camera pose estimation error. On the other hand, the newly proposed BARF can solve the camera pose problem with NeRF but fails if the images are multi-scale in nature. This paper presents a robust multi-scale neural radiance fields representation approach to simultaneously overcome both real-world imaging issues. Our method handles multi-scale imaging effects and camera-pose estimation problems with NeRF-inspired approaches by leveraging the fundamentals of scene rigidity. To reduce unpleasant aliasing artifacts due to multi-scale images in the ray space, we leverage Mip-NeRF multi-scale representation. For joint estimation of robust camera pose, we propose graph-neural network-based multiple motion averaging in the neural volume rendering framework. We demonstrate, with examples, that for an accurate neural representation of an object from day-to-day acquired multi-view images, it is crucial to have precise camera-pose estimates. Without considering robustness measures in the camera pose estimation, modeling for multi-scale aliasing artifacts via conical frustum can be counterproductive. We present extensive experiments on the benchmark datasets to demonstrate that our approach provides better results than the recent NeRF-inspired approaches for such realistic settings.

研究の動機と目的

• 実世界のマルチビュー画像においてスケールの変動と不正確なカメラポーズを扱う能力に制限を受けるNeRFおよびその変種の課題に対処すること。
• COLMAPのような外部ポーズ推定ツールに依存することを排除し、自己完結的でロバストなカメラポーズ推定を可能にすること。
• マルチスケール表現とロバスト最適化を統合することで、マルチスケールおよびポーズ誤差の条件下でもニューラルボリュームレンダリングの品質を向上させること。
• マルチスケールレンダリングを実行するがロバストなポーズ推定が行われない場合、Mip-NeRFのアーリアシング技術でさえも失敗することを示すこと。
• マルチビュー幾何学、マルチスケールNeRF、およびグラフニューラルネットワークの原則を統合し、よりロバストなニューラルシーン表現を実現すること。

提案手法

• アーリアシングアーティファクトを低減するため、Mip-NeRFのマルチスケールコーンフラスムレンダリングを統合する。
• ニューラルボリュームレンダリングフレームワーク内に、複数のモーショングラフ平均化（MRA）モジュールをGNNベースで提案し、一括してロバストなカメラポーズを推定する。
• 最適化プロセスの正則化に剛性シーンの事前知識を用い、ポーズ誤差に対してよりロバストな性能を実現する。
• 色のレンダリング誤差とロバストMRA誤差の両方を同時に最適化する際に、冷却戦略（annealing）を採用することで収束性と精度のバランスを取る。
• マルチスケールレンダリングとロバストなポーズ推定を、1つのエンドツーエンド微分可能なフレームワークに統合し、バンドル調整に依存しない。
• シーンの剛性を活用してモーショングラフ平均化プロセスを制約し、スケールおよびポーズの変動がある複数の視点間で一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合的なニューラルレイトランスフィールドフレームワークは、マルチスケール画像処理とカメラポーズ推定誤差の両方を同時にロバストに処理できるか？
• RQ2 Mip-NeRFのマルチスケールレンダリングは、不正確なカメラポーズと組み合わせると失敗するのか？そして、その失敗は回避可能か？
• RQ3 外部ポーズソルバーを必要としないGNNベースのモーショングラフ平均化は、ニューラルボリュームレンダリングにおけるカメラポーズ推定のロバスト性を向上させられるか？
• RQ4 剛性シーンの事前知識を組み込むことで、実世界の撮影条件下における新規ビュー合成の品質はどのように向上するか？
• RQ5 ノイズが多い実世界環境下では、シーン表現とカメラポーズの最適化を統合的に行うアプローチが、分離最適化やBAベースの手法よりも効果的か？

主な発見

• RM-NeRFは、マルチスケールBlenderデータセットのMicシーンにおいて、合成されたポーズ誤差条件下でPSNR 32.80を達成し、BARF（27.03）およびMip-NeRF（21.90）を顕著に上回った。
• 同じベンチマークで、RM-NeRFはMicシーンにおいてLPIPS 0.008を達成したのに対し、Mip-NeRFは0.064、BARFは0.060であった。これは、優れた知覚的品質を示している。
• アブレーションスタディの結果、冷却重みλを0.5に固定した場合、MicシーンのPSNRは32.80から22.20に低下した。これは、適応的最適化戦略の重要性を確認するものである。
• RM-NeRFはMicシーンでSSIM 0.963を達成し、BARF（0.96）およびMip-NeRF（0.93）を上回った。これにより、構造的忠実度の向上が示された。
• カメラポーズが摂動されていようとも、アーリアシングアーティファクトを低減し、新規ビュー合成の品質を向上させた。これにより、実世界のノイズに対するロバスト性が実証された。
• 剛性シーンの事前知識を統合した統合的最適化により、色またはポーズ誤差のみに依存する手法よりも、より一貫性があり正確なシーン再構築が可能になった。