[論文レビュー] View Synthesis with Sculpted Neural Points

Yiming Zuo, Jia Deng|arXiv (Cornell University)|May 12, 2022

Advanced Vision and Imaging被引用数 10

ひとこと要約

本稿では、NeRF よりも優れた視覚的品質を実現すると同時にレンダリングが100倍速い、新しいポイントベースのビュー合成手法である Sculpted Neural Points (SNP) を提案する。初期のMVSポイントクラウドを離散的な削除と追加によって精錬し、視点依存の球面調和関数特徴とカスタムの微分可能レンダリングパイプラインを用いることで、最先端の性能を達成する高精細で効率的かつ編集可能な新規ビュー合成を実現する。

ABSTRACT

We address the task of view synthesis, generating novel views of a scene given a set of images as input. In many recent works such as NeRF (Mildenhall et al., 2020), the scene geometry is parameterized using neural implicit representations (i.e., MLPs). Implicit neural representations have achieved impressive visual quality but have drawbacks in computational efficiency. In this work, we propose a new approach that performs view synthesis using point clouds. It is the first point-based method that achieves better visual quality than NeRF while being 100x faster in rendering speed. Our approach builds on existing works on differentiable point-based rendering but introduces a novel technique we call "Sculpted Neural Points (SNP)", which significantly improves the robustness to errors and holes in the reconstructed point cloud. We further propose to use view-dependent point features based on spherical harmonics to capture non-Lambertian surfaces, and new designs in the point-based rendering pipeline that further boost the performance. Finally, we show that our system supports fine-grained scene editing. Code is available at https://github.com/princeton-vl/SNP.

研究の動機と目的

• NeRF などの暗黙的ニューラル表現におけるビュー合成における計算の非効率性と柔軟性の欠如を解消すること。
• 再構築されたポイントクラウドにおける幾何的誤差や穴に対するポイントベースレンダリングのロバスト性を向上させること。
• 高いレンダリング速度を維持しつつ、NeRF を上回る視覚的品質を達成し、細粒度なシーン編集を可能とすること。
• 効率的な最適化と編集を可能とする、微分可能でエンドツーエンドのパイプラインを構築すること。

提案手法

• 初期のMVS再構築ポイントクラウドに対して離散的削除と追加を施すことで、写真的一致性を向上させる、Sculpted Neural Points (SNP) の手法を導入する。
• 微分可能なレンダリングを用いて、ポイント特徴と彫刻的決定を同時に最適化し、勾配ベースの精錬を可能にする。
• 非ラムベールト材料や照明効果をモデル化するため、高次元の球面調和関数を視点依存のポイント特徴に用いる。
• ドロップアウト (Srivastava et al., 2014) を模倣したポイントドロップアウト層を提案し、新規ビューへの一般化性を向上させる。
• U-Netバックボーンから正規化層（BatchNorm/InstanceNorm）を排除することを推奨するが、これは性能を顕著に向上させる。
• 空でない領域での無駄な計算を回避するカスタムレンダリングパイプラインを設計し、リアルタイム推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ポイントベース手法は、レンダリングが著しく速いにもかかわらず、NeRF を上回る視覚的品質を達成できるか？
• RQ2 離散的彫刻操作（ポイントの削除と追加）を、幾何的ロバスト性を向上させる微分可能最適化フレームワークに統合する方法は何か？
• RQ3 視点依存の特徴は、ポイントベースレンダリングにおいて、複雑な照明や非ラムベールト表面を捉える上で果たす役割は何か？
• RQ4 正規化層やドロップアウトといったアーキテクチャ的選択が、ポイントベースビュー合成における一般化性と性能に与える影響は何か？
• RQ5 明示的なポイントクラウド表現は、カスタムインターフェースを必要とせずに、細粒度でユーザーフrndリーなシーン編集を可能にするか？

主な発見

• DTU データセットにおいて、SNP は NeRF よりも高い PSNR（29.62）と SSIM（0.968）を達成し、レンダリング速度は100倍速い。
• NeRF-Synthetic データセットでは、SNP は PSNR 29.62、LPIPS 0.049 を達成し、NeRF（25.43、0.111）と Point-NeRF（28.43、0.023）を上回る主要指標を達成した。
• アブレーションスタディの結果、U-Net から BatchNorm と InstanceNorm を削除すると性能が向上し、完全なモデルでは DTU で PSNR 24.90、SSIM 0.851 を達成した。
• 高いドロップアウト率を有するポイントドロップアウト層は一般化性を向上させ、DTU ではドロップアウトなしで+0.12、低ドロップアウトで+0.22 のPSNR向上を示した。
• SNP は、より良い視覚的品質を達成しながらも、NeRF よりも66％の訓練時間を短縮した。これは、効率性の向上を示している。
• 本手法は、ポイントクラウド表現がオブジェクト単位以下の解像度で編集を可能にするため、標準的なグラフィックスツールを用いた細粒度なシーン編集を実現している。