[論文レビュー] Volume Rendering of Neural Implicit Surfaces

Lior Yariv, Jiatao Gu+2 more|arXiv (Cornell University)|Jun 22, 2021

3D Shape Modeling and Analysis参考文献 40被引用数 10

ひとこと要約

本稿では、符号付き距離関数（SDF）の累積分布関数（CDF）として体積密度をモデル化するVolSDFというニューラルボリュームレンダリング手法を提案する。これにより、明示的なマスクを用いずに高精度な幾何再構築が可能となる。このインダクティブバイアスを活用することで、NeRF や NeRF++ よりも優れた幾何精度を達成し、形状と外観の教師なし分離を可能にするとともに、忠実なレイサンプリングを可能にする有界な透明度近似を提供する。

ABSTRACT

Neural volume rendering became increasingly popular recently due to its success in synthesizing novel views of a scene from a sparse set of input images. So far, the geometry learned by neural volume rendering techniques was modeled using a generic density function. Furthermore, the geometry itself was extracted using an arbitrary level set of the density function leading to a noisy, often low fidelity reconstruction. The goal of this paper is to improve geometry representation and reconstruction in neural volume rendering. We achieve that by modeling the volume density as a function of the geometry. This is in contrast to previous work modeling the geometry as a function of the volume density. In more detail, we define the volume density function as Laplace's cumulative distribution function (CDF) applied to a signed distance function (SDF) representation. This simple density representation has three benefits: (i) it provides a useful inductive bias to the geometry learned in the neural volume rendering process; (ii) it facilitates a bound on the opacity approximation error, leading to an accurate sampling of the viewing ray. Accurate sampling is important to provide a precise coupling of geometry and radiance; and (iii) it allows efficient unsupervised disentanglement of shape and appearance in volume rendering. Applying this new density representation to challenging scene multiview datasets produced high quality geometry reconstructions, outperforming relevant baselines. Furthermore, switching shape and appearance between scenes is possible due to the disentanglement of the two.

研究の動機と目的

• 一般的な密度関数の任意の等高線によるノイズが多く、低精度な出力が生じる現在のニューラルボリュームレンダリングにおける幾何表現と再構築の忠実性の向上。
• 表面を自然に定義する密度関数への構造的インダクティブバイアスの導入により、幾何的精度と分離性の向上。
• 視線に沿ったレイの透明度近似誤差を有界化することで、ボリュームレンダリング積分の正確なサンプリングを可能にする。
• 物体マスクや明示的な教師信号を必要とせず、形状と外観の教師なし分離を実現する。
• 複雑な背景を有するシーンにおいても、スパarsな視点からの入力のみで高品質な幾何再構築が可能であることを示す。

提案手法

• 体積密度は符号付き距離関数（SDF）の累積分布関数（CDF）として定義され、明確な表面を保証し、幾何的インダクティブバイアスを提供する。
• この定式化により、透明度近似誤差に理論的上限が得られ、視線に沿ったボリュームレンダリング積分の正確なサンプリングに活用できる。
• ニューラルネットワークを用いてSDFを予測し、標準正規CDFを適用して体積密度を生成する。
• レディアンスフィールドは別個のニューラルネットワークでモデル化され、幾何と外観の分離を可能にする。
• 物体マスクを必要とせず、異なるビュー合成の最適化を可能にする微分可能ボリュームレンダリングを用いて、エンドツーエンドで訓練する。
• 異なるシーン間でレディアンスフィールドを入れ替えることで、形状と外観の教師なし分離を実現する。

実験結果

リサーチクエスチョン

• RQ1 符号付き距離関数（SDF）の関数として体積密度をモデル化することで、ニューラルボリュームレンダリングにおける幾何再構築の忠実性が向上するか？
• RQ2 SDFのCDFを密度関数として用いることで、より良い幾何学的学習に有用なインダクティブバイアスが得られるか？
• RQ3 この密度定式化を用いることで、ボリュームレンダリングにおける透明度近似誤差を有界化でき、より正確なレイサンプリングが可能になるか？
• RQ4 この手法を用いて形状と外観の教師なし分離が可能か？また、NeRFベースの手法と比較してどうなるか？
• RQ5 特に複雑な背景を有するシーンにおいて、物体マスクを必要とせず、高品質な幾何再構築が可能か？

主な発見

• DTUデータセットにおいて、VolSDFはNeRFおよびNeRF++を上回る幾何再構築性能を示し、平均で30％のChamfer距離の改善を達成しながら、PSNRは同等を維持した。
• Blended-MVSデータセットでは、物体マスクを必要とする最先端の手法であるIDRと同等の再構築品質を達成したが、マスクの教師信号は不要であった。
• VolSDFは、教師なし形状・外観分離を成功裏に実現した：異なるシーン間でレディアンスフィールドを入れ替えると、物理的に妥当な材料と幾何が得られるが、NeRFベースのモデルではこのタスクに失敗した。
• IDRよりもクリアな再構築を実現し、最適化の問題により生じる暗黙的表面法における余分な表面部の出現を回避した。
• 有界な透明度近似により、幾何とレディアンスのより忠実な結合が実現され、レンダリングされたビューにおける欠落や延長された表面部などのアーティファクトが減少した。
• フレームワークは、スパarsな入力ビューのみから高精度な幾何を再構築でき、複雑な背景や非ラムベールト材料を有するシーンにおいても頑健であることを示した。