[論文レビュー] Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall+3 more|arXiv (Cornell University)|Nov 23, 2021

Advanced Vision and Imaging被引用数 5

ひとこと要約

Mip-NeRF 360 は、非線形なシーンパラメータライゼーション、プロポーザルベースの distillation フレームワーク、歪みに基づく正則化子を導入することで、mip-NeRF を非有界な 360° シーンに拡張し、平均二乗誤差を 57% 減少させ、複雑な現実世界のシーンにおける高精細なビュー合成と詳細な深度マップの生成を実現した。

ABSTRACT

Though neural radiance fields (NeRF) have demonstrated impressive view synthesis results on objects and small bounded regions of space, they struggle on "unbounded" scenes, where the camera may point in any direction and content may exist at any distance. In this setting, existing NeRF-like models often produce blurry or low-resolution renderings (due to the unbalanced detail and scale of nearby and distant objects), are slow to train, and may exhibit artifacts due to the inherent ambiguity of the task of reconstructing a large scene from a small set of images. We present an extension of mip-NeRF (a NeRF variant that addresses sampling and aliasing) that uses a non-linear scene parameterization, online distillation, and a novel distortion-based regularizer to overcome the challenges presented by unbounded scenes. Our model, which we dub "mip-NeRF 360" as we target scenes in which the camera rotates 360 degrees around a point, reduces mean-squared error by 57% compared to mip-NeRF, and is able to produce realistic synthesized views and detailed depth maps for highly intricate, unbounded real-world scenes.

研究の動機と目的

• カメラが任意の方向を向くことや、内容が任意の距離に存在する非有界なシーンにおいて、NeRF や mip-NeRF の限界を克服すること。
• スパarsなビューからの大規模で複雑なシーンの再構築に内在するパラメータライゼーション、訓練効率、シーンの曖昧さの課題を克服すること。
• 外部のトレーニングデータやプロキシジオメトリを必要とせず、複雑な現実世界の 360° シーンにおける現実的な新規ビュー合成と詳細な深度推定を可能にすること。
• オンライン distillation と新しい正則化戦略を導入することで、訓練時間を短縮し、レンダリング品質を向上させること。

提案手法

• 3D座標を有界な空間に写像する非線形なシーンパラメータライゼーションを導入し、カルマンフィルタに類似した収縮関数を用いて、近いコンテンツに多くの容量を、遠いコンテンツに少ない容量を割り当てる。
• 2本のブランチを持つMLPアーキテクチャを採用：軽量なプロポーザルMLPがサンプリング重みを予測し、高容量のNeRFMLPがその洗練された間隔を用いて最終的な画像をレンダリングする。
• オンライン distillation を適用し、NeRFMLP のヒストグラム重みを用いてプロポーザルMLPを監視することで、直接的な画像監視なしに効果的な粗〜細かいサンプリングを実現する。
• mip-NeRF のフルスムのサンプリングに特化した歪みに基づく正則化子（$\mathcal{L}_{\mathrm{dist}}$）を導入し、フロートラーのような幾何的アーチファクトを低減する。
• 多スケール周波数を用いた位置エンコーディング（IPE）を適用し、mip-NeRF フレームワークとの互換性を保ちながら表現能力を向上させる。
• シーンを有界な空間に収縮する関数を適用することで、すべての視点方向で幾何的整合性を維持し、外部ジオメトリや追加のトレーニングデータの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 NeRFベースのモデルは、任意のカメラアングルとすべての距離に内容が存在する非有界な 360° シーンをどのように扱えるか？
• RQ2 非有界なシーンにおいて、さまざまな深度にモデル容量を最適に割り当てるパラメータライゼーション戦略は何か？ これによりレンダリング品質の向上とアーチファクトの低減が図れるか？
• RQ3 外部監視に依存しないプロポーザルベースの distillation フレームワークは、非有界なシーンにおける訓練効率とレンダリング忠実度を向上させられるか？
• RQ4 フルスムベースのサンプリングに特化した歪みに基づく正則化子は、非有界なシーンレンダリングにおける幾何的アーチファクトをどのように低減するか？
• RQ5 軽量なプロポーザルネットワークとオンライン distillation を用いて、1つの高容量 NeRFMLP を効率的に訓練できる範囲はどの程度か？

主な発見

• Mip-NeRF 360 は、非有界な 360° シーンにおいて、mip-NeRF と比較して平均二乗誤差を 57% 減少させ、再構築精度の顕著な向上を示した。
• 自転車シーンでは、PSNR が 24.37、SSIM が 0.687 を達成し、アブレーションバリアントや先行手法を上回る画像品質と詳細な深度マップの精度を実現した。
• 歪み正則化子（$\mathcal{L}_{\mathrm{dist}}$）を削除すると、明確に見える