[論文レビュー] Robust Camera Pose Refinement for Multi-Resolution Hash Encoding

Hwan Heo, Taekyung Kim+5 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Vision and Imaging被引用数 5

ひとこと要約

本稿では、ニューラルレイトランスフィールドにおけるカメラポーズの最適化とマルチスケールハッシュ符号化を統合的に最適化するロバストなフレームワークを提案する。滑らかなストレートスラッシャー推定器とカリキュラム学習により、勾配の振動を安定化させる。初期ポーズが不正確または未知であっても、高速な収束を実現し、最先端の新規ビュー合成性能を達成する。

ABSTRACT

Multi-resolution hash encoding has recently been proposed to reduce the computational cost of neural renderings, such as NeRF. This method requires accurate camera poses for the neural renderings of given scenes. However, contrary to previous methods jointly optimizing camera poses and 3D scenes, the naive gradient-based camera pose refinement method using multi-resolution hash encoding severely deteriorates performance. We propose a joint optimization algorithm to calibrate the camera pose and learn a geometric representation using efficient multi-resolution hash encoding. Showing that the oscillating gradient flows of hash encoding interfere with the registration of camera poses, our method addresses the issue by utilizing smooth interpolation weighting to stabilize the gradient oscillation for the ray samplings across hash grids. Moreover, the curriculum training procedure helps to learn the level-wise hash encoding, further increasing the pose refinement. Experiments on the novel-view synthesis datasets validate that our learning frameworks achieve state-of-the-art performance and rapid convergence of neural rendering, even when initial camera poses are unknown.

研究の動機と目的

• ニューラルレイトランスフィールドにおけるマルチスケールハッシュ符号化と同時に最適化する際のカメラポーズ最適化の著しい性能劣化を解消すること。
• 非微分可能なハッシュ関数と不連続なd線形補間による勾配の振動が、ポーズ最適化を不安定にする要因であることを同定すること。
• ストレートスラッシャー推定器に非線形活性化関数を導入することで、バックプロパゲーション中の滑らかな勾配推定戦略を構築し、最適化を安定化させること。
• レベルごとのハッシュ符号化の収束速度を調整可能なマルチレベル学習率スケジューリングを導入し、粗い段階から細かい段階への収束を可能にすること。
• 浅いデコーダーとノイズの多い初期ポーズでも性能が向上することを実証し、デコーダー容量に関する従来の仮定に挑戦すること。

提案手法

• ストレートスラッシャー推定器に非線形活性化関数を用いて、ハッシュグリッドにおけるd線形補間に起因する勾配の振動を緩和する。
• 前方伝搬ではd線形補間を維持しつつ、バックプロパゲーションでは学習可能な活性化関数により滑らかな勾配を実現する。
• ハッシュ符号化の異なる解像度レベル間での収束速度を調整可能なマルチレベル学習率スケジューリングを実装する。
• 段階的学習（カリキュラムトレーニング）を採用し、ポーズとシーン表現を段階的に精緻化することで、安定性と精度を向上させる。
• ノイズの多いポーズでも局所最適解に陥らないよう、深く広いデコーダー（4層MLP、256ニューロン）を採用する。
• 各構成要素のポーズ精度およびビュー合成品質への影響を検証するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 なぜNeRFベースのレンダリングにおいて、カメラポーズとマルチスケールハッシュ符号化を単純に同時に最適化すると失敗するのか？
• RQ2 ハッシュ符号化における勾配の振動は、カメラポーズ最適化とシーン再構築にどのように影響を与えるか？
• RQ3 滑らかな勾配推定は、マルチスケールハッシュベースのNeRFにおけるカメラポーズ最適化を安定化させることができるか？
• RQ4 マルチレベル学習率スケジューリングは、階層的ハッシュ符号化における収束性とポーズ精度を向上させるか？
• RQ5 初期カメラポーズが不正確な場合、デコーダーの容量はポーズ最適化にどのように影響するか？

主な発見

• 提案手法は、NeRF-SyntheticおよびLLFFデータセットにおいて最先端の新規ビュー合成性能を達成し、COLMAP初期化下でLLFFデータセットでPSNRが最大26.73に向上した。
• ストレートスラッシャー推定器による勾配スムージングにより、ポーズ登録誤差が低減され、ベースライン（表4では24.79対26.73）と比較してPSNRが1.94ポイント向上した。
• 先行研究と比較して20倍以上の高速なトレーニング速度を達成し、Hotdogデータセットでは1イテレーションあたり10.8msの推論時間であった。
• アブレーションスタディの結果、滑らかな勾配とマルチレベル学習率スケジューリングが、特にノイズの多い初期ポーズ下でも正確なポーズ最適化に不可欠であることが確認された。
• 4層・256ニューロンの大きな深さと広さを持つデコーダーは、浅いデコーダーと比較して収束性と性能が顕著に向上し、従来の最小デコーダーサイズに関する仮定に反する結果となった。
• 初期ポーズが不明な状況下でも、競合するベースライン（例：GARF、BARF）を上回るポーズ精度とビュー合成品質を達成した。