[論文レビュー] NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing

Bangbang Yang, Chong Bao+5 more|arXiv (Cornell University)|Jul 25, 2022

3D Shape Modeling and Analysis被引用数 22

ひとこと要約

NeuMesh は、メッシュ支架上にジオメトリとテクスチャの分離可能なニューラル implicit フィールドを各頂点ごとにエンコードし、メッシュ誘導のジオメトリ編集と領域特異的なテクスチャ編集（テクスチャのスワップ、塗りつぶし、ペイントを含む）を可能にします。学習可能な符号指標、蒸留-ファインチューニング訓練、および空間認識的テクスチャ最適化を用いて、編集の忠実度を向上させます。

ABSTRACT

Very recently neural implicit rendering techniques have been rapidly evolved and shown great advantages in novel view synthesis and 3D scene reconstruction. However, existing neural rendering methods for editing purposes offer limited functionality, e.g., rigid transformation, or not applicable for fine-grained editing for general objects from daily lives. In this paper, we present a novel mesh-based representation by encoding the neural implicit field with disentangled geometry and texture codes on mesh vertices, which facilitates a set of editing functionalities, including mesh-guided geometry editing, designated texture editing with texture swapping, filling and painting operations. To this end, we develop several techniques including learnable sign indicators to magnify spatial distinguishability of mesh-based representation, distillation and fine-tuning mechanism to make a steady convergence, and the spatial-aware optimization strategy to realize precise texture editing. Extensive experiments and editing examples on both real and synthetic data demonstrate the superiority of our method on representation quality and editing ability. Code is available on the project webpage: https://zju3dv.github.io/neumesh/.

研究の動機と目的

• 従来のメッシュベースのワークフローに合わせた編集可能なニューラルレンダリングを動機づける。
• 分離されたジオメトリと外観を持つメッシュアンカー付き頂点結合潜在場を局所編集のために提案する。
• 新しい技術と訓練手法を通じて、非剛体ジオメトリ編集と細粒度のテクスチャ編集を可能にする。
• ジオメトリとテクスチャの editable な制御を提供しつつ高いレンダリング品質を維持する。

提案手法

• シーンをメッシュ支架上の頂点境界潜在コード（geometry l^g および texture l^t）として表現し、各頂点に学習可能な符号 indicators を設ける。
• Ray に沿って K 個の最近傍メッシュ頂点からコードと射影距離を補間し、SDF s と色 c のジオメトリと放射輝度デコーダへ局所入力を形成する。
• 事前に座標ベースの implicit field で学習した知識を蒸留とファインチューニング訓練方式で導入し、最適化を安定させディテールを向上させる。
• 各頂点ごとの学習可能な符号指標 n を導入し、補間された符号付き距離 h(x) を計算して空間的識別性を高め、 watertight なメッシュを要求せずに表現能力を強化する。
• 被描画線に基づく塗装を前提とした空間認識的なテクスチャ塗装戦略を適用し、塗装光線と膨張マスクに基づき影響を受けるテクスチャコードを選択的に微調整する。
• メッシュを変形させるだけでメッシュ誘導のジオメトリ編集を提供し、相対法線回転の調整を通じて implicit フィールドの一貫性を維持する。
• テクスチャコードのスワップ、テンプレートテクスチャからのテクスチャ埋め込み、2Dビューからのペイントなど、テクスチャ編集をデザイン可能にし、メッシュ上で領域局所的な制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 メッシュベースのニューラル implicit 表現は、ジオメトリとテクスチャの直感的な編集操作を可能にしつつ、高品質なレンダリングを実現できるか。
• RQ2 ジオメトリとテクスチャを分離し、レンダリング忠実度を損なわずに局所編集を行うにはどうすればよいか。
• RQ3 学習可能な符号指標、蒸留、空間認識的最適化などの機構は、安定した訓練と複数ビューにわたる正確なテクスチャ編集をどう実現するか。
• RQ4 メッシュ誘導編集は実データと合成データにおいて、従来のニューラルレンダリング法と比較してどの程度移転可能か。

主な発見

• NeuMesh は DTU および NeRF 360 の合成データセットで NeuS および NeuTex と競合するレンダリング品質を達成する。
• 提案されたテクスチャ編集機能には、テクスチャのスワップ、テンプレートテクスチャによるテクスチャ埋め込み、2D ビューからのテクスチャ塗装が含まれ、局所性とビュー整合性が改善される。
• メッシュ誘導ジオメトリ編集は、単純な場のワープ手法よりも滑らかで表面整合性のある変形を生み出す。
• 頂点ごとの学習可能な符号指標と蒸留＋ファインチューニング訓練方式は、安定した訓練と高い画像品質に不可欠である。
• 空間認識的なテクスチャ最適化は、単一ビューからの塗装時のアーティファクトを低減し、領域特異的な正確なテクスチャ編集を可能にする。
• 定量的結果は Ours が DTU で PSNR 28.289、NeRF360 で 30.945、SSIM 0.921、0.951、LPIPS 0.117、0.043 を達成し、主要指標で NeuTex および NeuS を上回ることを示す。