[論文レビュー] SiNeRF: Sinusoidal Neural Radiance Fields for Joint Pose Estimation and Scene Reconstruction

Yitong Xia, Hao Tang+2 more|arXiv (Cornell University)|Oct 10, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

この論文では、より良い放射輝度マッピングと効率的なレイサンプリングのための正弦関数活性化関数（SIREN）と、混合領域サンプリング（MRS）戦略を活用することで、共同3次元シーン再構築とカメラポーズ推定を向上させる新しいNeural Radiance Fieldフレームワーク、SiNeRFを提案する。この手法は、特に模様のない領域や詳細なシーンにおいて、NeRFmmよりも顕著な向上を達成し、画像合成品質とポーズ精度の両面で優れている。

ABSTRACT

NeRFmm is the Neural Radiance Fields (NeRF) that deal with Joint Optimization tasks, i.e., reconstructing real-world scenes and registering camera parameters simultaneously. Despite NeRFmm producing precise scene synthesis and pose estimations, it still struggles to outperform the full-annotated baseline on challenging scenes. In this work, we identify that there exists a systematic sub-optimality in joint optimization and further identify multiple potential sources for it. To diminish the impacts of potential sources, we propose Sinusoidal Neural Radiance Fields (SiNeRF) that leverage sinusoidal activations for radiance mapping and a novel Mixed Region Sampling (MRS) for selecting ray batch efficiently. Quantitative and qualitative results show that compared to NeRFmm, SiNeRF achieves comprehensive significant improvements in image synthesis quality and pose estimation accuracy. Codes are available at https://github.com/yitongx/sinerf.

研究の動機と目的

• NeRFmmにおける共同最適化の系的な非最適性、特に模様のない領域や詳細なシーンで困難を示す問題を解決すること。
• アノテートされたカメラパrameterを必要とせずに、NeRFベースの手法における画像合成品質とポーズ推定精度を向上させること。
• ランダムレイサンプリングの限界を克服し、最適化効率を高めるために、より戦略的なサンプリングメカニズムを導入すること。
• 活性化関数とサンプリング戦略がNeRFベースのフレームワークにおける共同最適化性能に与える影響を調査すること。

提案手法

• 提案されたSiNeRFは、放射輝度場の表現力と滑らかさを向上させるために、MLPにSIREN（正弦表現ネットワーク）活性化関数を用いる。これにより、困難なシーンにおける最適化が容易になる。
• 新規の混合領域サンプリング（MRS）戦略を導入し、ピクセルの重要度に応じて異なる重みを割り当てることで、レイバッチを選択する。重点領域に焦点を当て、同時にランダムサンプルも含めることで、多様性と耐性を確保する。
• MRSは、キーポイント領域（例：コーナー、エッジ）とランダムレイを組み合わせることで、模様のない領域などでも、監視の多様性と強靭性を確保する。
• 異なる可微分ボリュームレンダリングプロセスと再構築損失を用いて、放射輝度場とカメラパrameterをエンドツーエンドで共同最適化する。
• 実験的に、密度の不確実性パrameter σ を25倍にスケーリングすることで、レンダリング画像の色あせを防ぐ。
• LLFFデータセットを用いて、MLP幅とサンプリング戦略を変化させたSiNeRFとNeRFmmベースラインとの比較実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 標準的なReLUベースのMLPと比較して、SIREN活性化関数は共同3次元シーン再構築とポーズ推定における最適化のあり方と性能を改善できるか？
• RQ2 特に模様のない領域や困難なシーンにおいて、MRSはランダムサンプリングよりもより効率的かつ耐性のあるトレーニングを実現できるか？
• RQ3 SIRENとMRSはどのように相互作用し、画像品質とポーズ精度にどのような組み合わせ効果をもたらすか？
• RQ4 実世界のデータセットにおいて、SiNeRFはPSNR、SSIM、LPIPS、ポーズ誤差という指標で、NeRFmmをどの程度上回るか？
• RQ5 SiNeRFの改善効果は、テクスチャあり、詳細、模様のない環境を含む多様なシーンタイプにわたって一貫しているか？

主な発見

• LLFFデータセットにおいて、SiNeRFは平均PSNRが23.554を達成し、NeRFmm-256（22.773）とNeRFmm-128（22.485）を顕著に上回り、優れた画像合成品質を示している。
• Trexシーンでは、SiNeRFは並列誤差を1.467×10⁻²から0.462×10⁻²に、回転誤差を6.339°から0.856°に低減させ、ベースライン（SIRENおよびMRSなし）と比較して顕著な改善を示している。
• アブレーションスタディにより、SIRENとMRSを組み合わせた場合が最良のパフォーマンスを示すことが確認された。SiNeRFは、SIRENなし（PSNR: 22.478）およびMRSなし（PSNR: 25.542）のすべてのバリエーションを上回っている。
• Fortsressシーンでは、SIRENなしの場合の回転誤差155.553°が、SiNeRFでは1.772°に低減され、模様のない領域における局所最適解からの脱出効果が明確に示された。
• 定性的な結果から、SiNeRFのポーズ軌道はCOLMAPの真値とよく一致しており、正確なカメラポーズ推定が可能であることが示された。
• TrexやFortressのような困難なシーンにおいて、NeRFmmが劣悪な監視と最適化不安定性により苦戦する中、SiNeRFは最先端のパフォーマンスを達成した。