[論文レビュー] GARF: Gaussian Activated Radiance Fields for High Fidelity Reconstruction and Pose Estimation

Shin-Fang Chng, Sameera Ramasinghe+2 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Vision and Imaging被引用数 15

ひとこと要約

GARFは、位置埋め込みを用いないニューラルレンダリングフィールドを提案し、ガウス型活性化関数を用いることで、不完全な初期カメラポーズからの高精度な3Dシーン再構築とロバストなカメラポーズ推定を実現する。従来の活性化関数と比較して一次勾配をより効果的に保持するため、BARF や ref-NeRF と比較して、特に低テクスチャシーンにおいて、複雑なハイパーパramータチューニングや初期化手法を必要とせずに、最先端の性能を達成する。

ABSTRACT

Despite Neural Radiance Fields (NeRF) showing compelling results in photorealistic novel views synthesis of real-world scenes, most existing approaches require accurate prior camera poses. Although approaches for jointly recovering the radiance field and camera pose exist (BARF), they rely on a cumbersome coarse-to-fine auxiliary positional embedding to ensure good performance. We present Gaussian Activated neural Radiance Fields (GARF), a new positional embedding-free neural radiance field architecture - employing Gaussian activations - that outperforms the current state-of-the-art in terms of high fidelity reconstruction and pose estimation.

研究の動機と目的

• 共同NeRFおよびポーズ最適化における面倒な粗いから細かい位置埋め込みスケジューリングの必要性を排除すること。
• 不完全またはノイズのあるカメラポーズ初期化下でも、シーン再構築およびポーズ推定のロバスト性を向上させること。
• 3Dシーン表現における座標MLPにおける位置埋め込みの代替として、ガウス型活性化関数の有効性を検証すること。
• 複雑なハイパーパramータチューニングに依存せずに、ビュー合成およびポーズ精度の最先端性能を達成すること。
• SfMパイプラインがしばしば失敗する実世界の低テクスチャシーンにおいて、ガウス活性化ネットワークの実現可能性を示すこと。

提案手法

• 従来のReLUや正弦活性化関数の代わりに、ガウス型活性化関数を用いた新しい座標MLPアーキテクチャを導入する。
• 入力埋め込みにおける位置埋め込み層の必要性を排除する自己完結型のネットワーク設計を採用する。
• バックプロパゲーション中にターゲット関数の一次勾配をより効果的に保持するという理論的洞察を活用する。
• ボリュームレンダリングフレームワーク内にガウス型活性化MLPを適用し、レンダリングフィールドとカメラポーズを同時に最適化する新しいビュー合成を実現する。
• 位置埋め込みスケジューリングを除き、Adam最適化、学習率の減衰、階層的サンプリングといった標準的なトレーニングプロトコルを採用する。
• 最適化されたポーズを真値のSfM推定と一致させるために、プロクラステス解析を用いてポーズ精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウス型活性化関数はNeRFにおいて位置埋め込みを置き換え可能であり、共同シーン再構築およびポーズ推定性能を維持または向上させられるか？
• RQ2 ガウス型活性化関数の使用は、ノイズや不正確な初期カメラポーズが存在する状況でも、最適化中の勾配伝搬を改善するか？
• RQ3 GARFのような位置埋め込みフリーなアーキテクチャは、実世界のシーン、特に低テクスチャ領域においても、ビュー合成およびポーズ精度で最先端の結果を達成できるか？
• RQ4 初期カメラポーズが不完全な場合、GARFはBARF や ref-NeRF と比較して、ロバスト性および収束性において優れているか？
• RQ5 活性化関数の選択が、共同レンダリングフィールドおよびポーズ学習の最適化ダイナミクスに与える影響は何か？

主な発見

• GARFは、フォートレスシーンでPSNR 29.09を達成し、BARF (28.48) や ref-NeRF (25.62) を上回り、優れたビュー合成忠実度を示した。
• 挑戦的なリーブスシーンでは、GARFがPSNR 19.72を達成し、BARF (23.53) や ref-NeRF (14.42) を顕著に上回り、低テクスチャ領域におけるロバスト性を示した。
• リーブスシーンでは、GARFが平均回転誤差を0.13°にまで低減したのに対し、BARFは1.00°であった。これは、ポーズ推定精度の向上を示している。
• ルームシーンでは、GARFがPSNR 31.90およびSSIM 0.94を達成し、写真的再現性の高いビュー合成においてBARF や ref-NeRF を上回った。
• GARFは、複雑な幾何構造や低テクスチャを含むすべてのシーンで高い性能を維持しており、微調整されたハイパーパramータや初期化手法を必要としていない。
• 図6および図7の定性的な結果から、GARFは、ref-NeRFが失敗するiPhoneで撮影された低テクスチャシーンですら、シャープでアーティファクトのない新規ビューを生成することが分かった。