[論文レビュー] Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations

Yifan Wang, Shihao Wu+2 more|arXiv (Cornell University)|Dec 11, 2020

3D Shape Modeling and Analysis参考文献 50被引用数 4

ひとこと要約

本稿では、神経的暗黙関数と動的に更新される幾何学的感度を持つ点群を組み合わせたハイブリッドニューラル表面表現であるIso-Pointsを提案する。トレーニング中にオンザフライで等値点を投影・再サンプリング・アップサンプリングすることで、効果的な幾何的正則化を実現し、最適化の安定性と再構築品質を向上させる。ノイズが多い、不完全なデータ、例えばスパarsな点群や損傷を受けていた点群、マルチビュー画像からの再構築において、収束が速く、一般化性能が高く、細かいディテールやトポロジーを優れた精度で回復できる。

ABSTRACT

Neural implicit functions have emerged as a powerful representation for surfaces in 3D. Such a function can encode a high quality surface with intricate details into the parameters of a deep neural network. However, optimizing for the parameters for accurate and robust reconstructions remains a challenge, especially when the input data is noisy or incomplete. In this work, we develop a hybrid neural surface representation that allows us to impose geometry-aware sampling and regularization, which significantly improves the fidelity of reconstructions. We propose to use \emph{iso-points} as an explicit representation for a neural implicit function. These points are computed and updated on-the-fly during training to capture important geometric features and impose geometric constraints on the optimization. We demonstrate that our method can be adopted to improve state-of-the-art techniques for reconstructing neural implicit surfaces from multi-view images or point clouds. Quantitative and qualitative evaluations show that, compared with existing sampling and optimization methods, our approach allows faster convergence, better generalization, and accurate recovery of details and topology.

研究の動機と目的

• ノイズが多い、不完全な3次元データ（例えばスパars点群や損傷を受けていた点群、マルチビュー画像など）から神経的暗黙表面を最適化する課題に対処すること。
• 明示的で適応的な点表現を通じて、幾何的制約を最適化プロセスに組み込むことで、再構築の忠実度を向上させること。
• 動的で幾何学的感度を持つサンプリングを活用することで、神経的暗黙表面適合における収束速度の向上と一般化性能の向上を実現すること。
• 暗黙関数と等値点の間で双方向変換を可能にすることで、暗黙的ニューラル表現と明示的幾何処理ツールの間のギャップを埋めること。
• 真値ラベルの監視を必要とせずに、トポロジーの正確性とディテールの保持を向上させること。

提案手法

• 本手法は、神経的暗黙関数のゼロレベルセットから導出される明示的でオンザフライでサンプリングされた点群表現としての等値点を導入する。
• 複数段階のサンプリングパイプラインを用いる：点群を暗黙表面に投影し、未十分にサンプリングされた領域を再サンプリングし、高密度なカバレッジを達成する。
• すべての操作はGPUアクセラレーションされており、局所的な点群近傍のみに依存するため、トレーニング中の効率性とスケーラビリティが保証される。
• 等値点の空間的分布と曲率を活用することで、幾何学的感度正則化を実施し、最適化をガイドし、ノイズやアーチファクトを抑制する。
• ハイブリッド表現により、レイマーチングや微分可能レンダリングを用いた既存の最適化パイプラインへの統合が可能となり、オーバーヘッドは最小限に抑えられる。
• 投影の前に、等値点をオクルージョンされた点からフィルタリングすることで、計算コストを低減し、最適化効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 神経的暗黙関数と明示的点群を組み合わせたハイブリッド表現が、不完全なデータからの3次元表面の最適化安定性と再構築品質を向上させられるか。
• RQ2 計算コストを増加させることなく、幾何学的感度サンプリングと正則化を神経的暗黙表面最適化に効果的に統合できるか。
• RQ3 等値点がノイズが多い、スパarsな入力からのディテール回復とトポロジー正確性をどの程度向上できるか。
• RQ4 提案手法が、最小限の変更で既存のマルチビューまたは点群再構築パイプラインに効率的に統合可能か。
• RQ5 オンザフライでの等値点抽出が、標準的な最適化戦略と比較して収束速度の向上と一般化性能の向上をもたらすか。

主な発見

• 提案手法はベースライン最適化よりも収束が速く、図10に示すように、指定されたチェンバーディスタンスのしきい値に達するまでの速度が最大2倍速くなった。
• DTU-MVSデータセットでは、平均L1-Chamfer距離を0.53にまで低減し、ベースライン（0.61）、スクリーニングドポisson（0.47）、Points2Surf（0.52）を上回った。
• DTU-MVSデータセットのモデル122において、本手法はチェンバーディスタンス0.42を達成し、ベースライン（0.50）を著しく下回った。これは、ノイズが多くスパarsな入力からの再構築精度が優れていることを示している。
• 本手法は、入力データの外れ値や穴によって生じる「ドロップレット」や盛り上がりなどのトポロジカルノイズや表面アーチファクトを効果的に抑制した。
• 等値点抽出のオーバーヘッドは非常に小さく、通常は3回のトレーニングイテレーションに相当するため、リアルタイムまたは反復的最適化パイプラインにおいて実用的である。
• マルチビュー再構築において、細かな幾何的ディテールを保持しており、ベースラインおよび最先端手法と比較して特徴の回復が向上したことが実証された。