[論文レビュー] Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

Jiaxiang Tang, Hang Zhou+5 more|arXiv (Cornell University)|Mar 3, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、NeRFから得られる粗いメッシュを適応的に精錬することで、マルチビューRGB画像から高品質なテクスチャ付き表面メッシュを回復するフレームワーク、NeRF2Meshを提案する。2次元レンダリング誤差に基づく反復的な頂点および面密度の調整により、幾何と外観を共同最適化し、拡散反射および視点依存の鏡面反射テクスチャを備えたリアルタイムレンダリングに適したメッシュを生成する。

ABSTRACT

Neural Radiance Fields (NeRF) have constituted a remarkable breakthrough in image-based 3D reconstruction. However, their implicit volumetric representations differ significantly from the widely-adopted polygonal meshes and lack support from common 3D software and hardware, making their rendering and manipulation inefficient. To overcome this limitation, we present a novel framework that generates textured surface meshes from images. Our approach begins by efficiently initializing the geometry and view-dependency decomposed appearance with a NeRF. Subsequently, a coarse mesh is extracted, and an iterative surface refining algorithm is developed to adaptively adjust both vertex positions and face density based on re-projected rendering errors. We jointly refine the appearance with geometry and bake it into texture images for real-time rendering. Extensive experiments demonstrate that our method achieves superior mesh quality and competitive rendering quality.

研究の動機と目的

• implicitなNeRFと明示的なポリゴナルメッシュの間の表現ギャップを解消し、リアルタイムグラフィックスやインタラクティブアプリケーションにおける利用可能性を向上させること。
• NeRFのimplicit表現が一般的な3Dソフトウェアおよびハードウェアと互換性がなく、非効率であるという問題を克服すること。
• 細かなディテールと視点依存の外観を保持しつつ、競争力あるレンダリング品質を維持する高忠実度のメッシュ再構築を可能にすること。
• ゲームエンジンやCADツールで使用可能な標準的なRGBおよび特徴ベースのテクスチャを備えたメッシュをエクスポートすることで、実用的かつ下流のアプリケーションを支援すること。

提案手法

• 事前学習済みNeRFを用いて幾何と視点依存外観を初期化し、外観を拡散成分と鏡面成分に分解する。
• Marching Cubesや類似手法を用いて、NeRFのimplicit表現から初期の粗いメッシュを抽出する。
• 再投影誤差に基づき、頂点位置と面密度を調整する反復的で適応的な表面精錬アルゴリズムを適用する。
• 2次元レンダリング損失を最小化することで、幾何と外観を共同最適化し、誤差の大きさと表面の複雑さに従って面の精錬を誘導する。
• 最適化された拡散色をRGBテクスチャに焼き付け、鏡面応答を特徴テクスチャに焼き付けることで、フラグメントシェーダー内の小型MLPを介したリアルタイムレンダリングを可能にする。
• メッシュの滑らかさを向上させるとともに過学習を防ぐために、正則化損失（TV損失、エントロピー損失）を導入する。

実験結果

リサーチクエスチョン

• RQ1 NeRFから抽出した粗いメッシュは、視点依存の外観を保持しつつ、高い幾何的忠実度を達成するために効果的に精錬可能か？
• RQ2 2次元レンダリング誤差に基づく適応的メッシュ精錬は、固定または均一な精錬と比較して、メッシュ品質とレンダリング精度をどのように向上させるか？
• RQ3 得られたテクスチャ付きメッシュは、標準の3Dグラフィックスパイプラインにおいて、どれほどリアルタイムレンダリングとインタラクティブ編集をサポートできるか？
• RQ4 適応的精錬と均一な精錬を比較した場合、メッシュの複雑さ（頂点数／面数）とレンダリング品質のトレードオフはどの程度か？
• RQ5 拡散および鏡面成分に外観を分解することで、テクスチャの編集可能性とレンダリングのリアリズムにどのような影響を与えるか？

主な発見

• NeRF2Meshは、競争力あるレンダリング品質を達成しており、NeRF-syntheticデータセットでは平均PSNRが29.76、SSIMが0.940を記録し、メッシュレンダリング品質においてボリュームベースのNeRFを上回っている。
• LLFFデータセットでは、メッシュベースのレンダリングが平均PSNR 24.75、SSIM 0.780を達成し、シーンレベルの再構築において強い汎化性能を示している。
• Mip-NeRF 360データセットでは、PSNRが22.36、SSIMが0.493を達成しており、背景の雑多さや複雑なシーンに対してもロバストであることが示された。
• アブレーションスタディの結果、TV損失を除去するとメッシュの滑らかさが低下しLPIPSが上昇（0.483 vs. 0.478）する一方、エントロピー損失を除去するとPSNRがわずかに低下（22.32 vs. 22.36）する。
• NaiveなMarching Cubesと比較してメッシュサイズが顕著に削減されており、適応的精錬が高誤差領域に集中することで、より小型で効率的なメッシュが得られている。
• 図10で示されるように、フレームワークはLODとリアルタイムレンダリングを正常にサポートしており、標準の3Dソフトウェアを用いたインタラクティブ編集も可能である。