[論文レビュー] Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields

Jonathan T. Barron, Ben Mildenhall+4 more|arXiv (Cornell University)|Mar 24, 2021

Advanced Neuroimaging Techniques and Applications被引用数 12

ひとこと要約

Mip-NeRFは、1本の光線サンプリングを円錐フリスツムに置き換えることでアーリアシングとぼやけを低減する、マルチスケールなニューラルレンダリングフィールド表現を導入する。3次元ガウス領域の特徴化に統合的位置エンコーディング（IPE）を用いることで、マルチスケールベンチマークで60%低い誤差、7%高速な推論、NeRFと比較して半分のモデルサイズを達成した。

ABSTRACT

The rendering procedure used by neural radiance fields (NeRF) samples a scene with a single ray per pixel and may therefore produce renderings that are excessively blurred or aliased when training or testing images observe scene content at different resolutions. The straightforward solution of supersampling by rendering with multiple rays per pixel is impractical for NeRF, because rendering each ray requires querying a multilayer perceptron hundreds of times. Our solution, which we call "mip-NeRF" (a la "mipmap"), extends NeRF to represent the scene at a continuously-valued scale. By efficiently rendering anti-aliased conical frustums instead of rays, mip-NeRF reduces objectionable aliasing artifacts and significantly improves NeRF's ability to represent fine details, while also being 7% faster than NeRF and half the size. Compared to NeRF, mip-NeRF reduces average error rates by 17% on the dataset presented with NeRF and by 60% on a challenging multiscale variant of that dataset that we present. Mip-NeRF is also able to match the accuracy of a brute-force supersampled NeRF on our multiscale dataset while being 22x faster.

研究の動機と目的

• シーンをさまざまな距離で見るとレンダリングにアーリアシングとぼやけが生じるNeRFの問題に対処すること。
• NeRFにおけるブルートフォーススーパーサンプリングの計算上の非現実性を、複数スケールでの事前フィルタリングによって克服すること。
• 効率的なアンチエイリアシングレンダリングを可能にする連続的でスケールに敏感な表現を構築すること。
• マルチスケールおよび困難なビュー合成ベンチマークでの精度向上と、モデルサイズと推論時間の短縮を同時に達成すること。
• スケールに敏感な特徴表現を活用して、NeRFの別々の粗い・細かいMLPを1つのより効率的なMLPに置き換えること。

提案手法

• NeRFの1本の光線サンプリングを、ピクセルの3次元的フットプリントを表す円錐フリスツムに置き換える。
• 円錐フリスツムを3次元ガウスで近似し、閉形式の解を用いてその上に積分する。
• 1つの点ではなく3次元領域（ガウス）を特徴化する統合的位置エンコーディング（IPE）を導入し、NeRFの位置エンコーディングを一般化する。
• ガウス領域上の位置エンコーディングの期待値を計算することで、事前フィルタリングされたレンダリングフィールドの微分可能で効率的なレンダリングを可能にする。
• スケールに敏感な特徴表現を活用して、NeRFの粗い・細かいMLPを1つのMLPに統合し、モデルの複雑さを低減する。
• マルチスケール表現を用いて学習およびレンダリングを行い、スーパーサンプリングなしでさまざまな解像度での正確なレンダリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 スケールに敏感な連続的マルチスケール表現は、シーンを異なる距離で見るとレンダリングのアーリアシングとぼやけを低減できるか？
• RQ2 事前フィルタリングされ、スケールに敏感なニューラルレンダリングフィールドは、推論コストを増加させずに効率的に計算・レンダリング可能か？
• RQ3 1点の位置エンコーディングから領域ベースの統合エンコーディングに置き換えることで、レンダリング品質と一般化性能が向上するか？
• RQ4 マルチスケールデータセットにおけるNeRFの性能は、モデルサイズと推論時間を短縮しながら顕著に向上するか？
• RQ5 スケールに敏感な特徴表現を活用することで、NeRFにおける別々の粗い・細かいMLPの必要性を排除できるか？

主な発見

• Mip-NeRFは、元のNeRFベンチマークで平均誤差を17%低減し、挑戦的なマルチスケールバージョンでは60%低減した。
• マルチスケールデータセットでは、ブルートフォーススーパーサンプリングされたNeRFと同等の精度を達成しながら、22倍高速だった。
• Mip-NeRFは標準NeRFと比較して7%高速で、粗い・細かいMLPの統合によりパラメータ数が半分になった。
• 統合的位置エンコーディング（IPE）は性能にとって不可欠であり、IPEを除いたアブレーションではLPIPSが平均で0.004増加し、SSIMが0.003減少した。
• Mip-NeRFはブレンドデータセットで最先端の結果を達成し、SSIMスコアはチェアで0.981、シップで0.991を記録し、NeRFおよび他のSOTA手法を上回った。
• 学習を早期に停止してもMip-NeRFは高い性能を維持しており、ロバストネスと高速収束性を示した。