[論文レビュー] 4K-NeRF: High Fidelity Neural Radiance Fields at Ultra High Resolutions

Zhongshu Wang, Lingzhi Li+3 more|arXiv (Cornell University)|Dec 9, 2022

Advanced Vision and Imaging被引用数 15

ひとこと要約

本論文は、レイ相関とパッチベースのサンプリングを活用した3次元に意識的なエンコーダーデコーダー構造を用いることで、4K超解像度における高精細な新規視点再構築を向上させる新規フレームワーク4K-NeRFを提案する。幾何的文脈を低解像度空間でモデル化し、フル解像度で深度変調畳み込みを用いて詳細を回復することで、ピクセル単位のNeRFベースラインと比較して周波数成分の高い詳細回復が著しく向上した、最先端の視覚的品質を達成する。

ABSTRACT

In this paper, we present a novel and effective framework, named 4K-NeRF, to pursue high fidelity view synthesis on the challenging scenarios of ultra high resolutions, building on the methodology of neural radiance fields (NeRF). The rendering procedure of NeRF-based methods typically relies on a pixel-wise manner in which rays (or pixels) are treated independently on both training and inference phases, limiting its representational ability on describing subtle details, especially when lifting to a extremely high resolution. We address the issue by exploring ray correlation to enhance high-frequency details recovery. Particularly, we use the 3D-aware encoder to model geometric information effectively in a lower resolution space and recover fine details through the 3D-aware decoder, conditioned on ray features and depths estimated by the encoder. Joint training with patch-based sampling further facilitates our method incorporating the supervision from perception oriented regularization beyond pixel-wise loss. Benefiting from the use of geometry-aware local context, our method can significantly boost rendering quality on high-frequency details compared with modern NeRF methods, and achieve the state-of-the-art visual quality on 4K ultra-high-resolution scenarios. Code Available at \url{https://github.com/frozoul/4K-NeRF}

研究の動機と目的

• NeRFベースの手法がピクセル単位のレイ処理を行うため、4K超解像度において高周波数成分の詳細を保持できないという制限に対処すること。
• 幾何的文脈を通じたレイ相関のモデル化により、微細な詳細の表現能力を向上させること。
• 知覚志向の正則化を用いた統合学習戦略により、4K新規視点再構築で最先端の視覚的品質を達成すること。
• 深度変調畳み込みとパッチベースのサンプリングがレンダリング忠実度を向上させることの有効性を示すこと。

提案手法

• 低解像度レイ特徴から幾何的特徴と推定深度を抽出する3次元に意識的なエンコーダーを導入する。
• フル解像度空間で高周波数詳細を再構築するために、深度変調畳み込みを用いた3次元に意識的なデコーダーを採用する。
• パッチベースのレイサンプリングを用いて、知覚ベース損失を用いたエンコーダーとデコーダーの統合学習を可能にする。
• L1損失、知覚損失、敵対的損失を含むマルチスケール損失を統合し、テクスチャと詳細品質を向上させる。
• 視覚的一致性と詳細回復を向上させるために、デコーダーをレイ特徴と予測深度の両方に条件づける。
• エンコーダーとデコーダーを統合して学習させ、幾何的モデリングと局所的文脈学習が連携できるようにする。

実験結果

リサーチクエスチョン

• RQ1 幾何的文脈を通じたレイ相関のモデル化が、超解像度NeRFレンダリングにおける高周波数成分の詳細回復を著しく向上させることができるか？
• RQ2 知覚志向の損失を用いたパッチベースのサンプリングは、標準的なランダムサンプリングとピクセル単位のMSE損失に比べて、微細な詳細の強化にどの程度優れているか？
• RQ3 デコーダーにおける深度変調が、4Kレンダリングにおける視覚的一致性と詳細忠実度をどの程度向上させるか？
• RQ4 提案フレームワークは、反射や半透明性を有する多様なシーンタイプに一般化可能か？
• RQ5 知覚損失や敵対的損失を含む複数の損失関数を組み合わせることで、視覚的品質とアーチファクト低減にどのような影響を与えるか？

主な発見

• 4K-Synthetic-NeRFおよび4K-LLFFベンチマークにおいて、4K-NeRFは顕著なぼやけの低減と高周波数詳細回復を実現し、最先端の視覚的品質を達成した。
• 「Fern」シーンではLPIPSが0.162、NIQEが4.20に低下し、ベースラインのTensoRF（LPIPS: 0.464、NIQE: 7.172）を上回った。
• アブレーションスタディの結果、敵対的損失を除外するとLPIPSが0.205に上昇し、NIQEが6.89に上昇し、その重要性が示された。
• 深度変調を除外するとLPIPSが0.189に上昇し、SSIMが0.754に低下し、深度ガイドが視覚的一致性を向上させることを確認した。
• L1損失のみを用いる場合、PSNRは23.69と高いが、ぼやけたアーチファクトが生じることから、指標と知覚的品質のトレードオフが明らかになった。
• DVGOエンコーダーをTensoRFに置き換えても、フレームワークは良好に一般化され、『Fern』シーンでLPIPSが0.342（vs. 0.452）に低下し、NIQEが向上した。