[論文レビュー] Shape As Points: A Differentiable Poisson Solver

Songyou Peng, Chiyu Max Jiang+4 more|arXiv (Cornell University)|Jun 7, 2021

3D Shape Modeling and Analysis参考文献 74被引用数 5

ひとこと要約

本論文は、学習可能なインジケータフィールドを介して、方向付き点群から密な、トポロジーに依存しないメッシュに変換する微分可能ポアソン表面再構築（DPSR）レイヤーを備えた、新しい微分可能3次元形状表現Shape-As-Points（SAP）を提案する。この手法により、点群に勾配が逆伝播可能なエンドツーエンド最適化が可能となり、ニューラルインジケータモデルと比較して10倍高速な推論を達成するとともに、自己交差のない高品質な表面を生成する。

ABSTRACT

In recent years, neural implicit representations gained popularity in 3D reconstruction due to their expressiveness and flexibility. However, the implicit nature of neural implicit representations results in slow inference time and requires careful initialization. In this paper, we revisit the classic yet ubiquitous point cloud representation and introduce a differentiable point-to-mesh layer using a differentiable formulation of Poisson Surface Reconstruction (PSR) that allows for a GPU-accelerated fast solution of the indicator function given an oriented point cloud. The differentiable PSR layer allows us to efficiently and differentiably bridge the explicit 3D point representation with the 3D mesh via the implicit indicator field, enabling end-to-end optimization of surface reconstruction metrics such as Chamfer distance. This duality between points and meshes hence allows us to represent shapes as oriented point clouds, which are explicit, lightweight and expressive. Compared to neural implicit representations, our Shape-As-Points (SAP) model is more interpretable, lightweight, and accelerates inference time by one order of magnitude. Compared to other explicit representations such as points, patches, and meshes, SAP produces topology-agnostic, watertight manifold surfaces. We demonstrate the effectiveness of SAP on the task of surface reconstruction from unoriented point clouds and learning-based reconstruction.

研究の動機と目的

• 3次元再構築におけるニューラルインジケータ表現の推論速度の遅さと解釈不能性の問題を解決すること。
• 明示的な点群と暗黙的なインジケータフィールドの間でエンドツーエンド微分可能最適化を可能にし、メッシュ生成を実現すること。
• 非構造的な点群から密で、トポロジーに依存しないメッシュを生成する、軽量で効率的かつ頑健な形状表現を開発すること。
• ノイズや外れ値の影響を受ける状況下でも、既存手法を上回る再構築品質と推論速度を達成すること。

提案手法

• スペクトル法を用いて、方向付き点群から暗黙的なインジケータフィールドを計算する微分可能ポアソン表面再構築（DPSR）レイヤーを提案する。
• 高速でGPUアクセceleratedなソルバーを用いて、128³グリッドに対して約12 msでインジケータフィールドを計算し、リアルタイム推論を可能にする。
• 形状を明示的に方向付き点群として格納し、微分可能なメッシュ生成を実現する、新しい形状表現Shape-As-Points（SAP）を導入する。
• ポアソンソルバーを介して勾配を逆伝播させ、チェンバーディスタンスなどの表面再構築損失を用いて点群の位置を最適化可能にする。
• 学習済みインジケータフィールドから密で、メッシュ状のメッシュを抽出する微分可能なマーチング・キューブスの変種を採用する。
• 最終メッシュまたは中間のインジケータグリッドに対する監視を可能にし、点群と幾何形状の共同最適化を実現するエンドツーエンド学習をサポートする。

実験結果

リサーチクエスチョン

• RQ1 微分可能なポアソンソルバーは、方向付き点群から高速かつ微分可能なメッシュ生成を可能にするか？
• RQ2 提案されたShape-As-Points表現は、ニューラルインジケータ表現および明示的表現と比較して、より高い再構築品質と高速な推論を達成するか？
• RQ3 SAPは、方向が不明またはノイズが混在する点群から、トポロジーに依存せず、自己交差のないメッシュを生成できるか？
• RQ4 ノイズや外れ値の影響を受ける状況下でも、SAPは最先端の学習ベース3次元再構築手法と比較して、性能と効率性に優れているか？

主な発見

• SAPはニューラルインジケータモデルと比較して10倍高速な推論を達成し、128³インジケータグリッドの計算時間は12 ms（同等のインジケータネットワークの330 msと比較）である。
• ShapeNetデータセットにおいて、SAPはPoints2Surf [16] を上回り、チェンバーライ1スコアが0.048（対象は0.078）であり、推論速度は99.9%高速（0.064s vs. 70s）である。
• SAPは、『ライフル』や『ランプ』など困難なカテゴリを含む全テストカテゴリで、密で自己交差のないメッシュを生成する。50%の外れ値と0.025のノイズ下でも同様の性能を示す。
• 最適化ベースの設定において、SAPはFスコア平均0.936、法線一貫性0.903を達成し、SPSR、3D-R2N2、AtlasNet、ConvONetを上回る最先端の性能を示した。
• 初期化に強く、複雑なネットワークのファインチューニングを必要とせず、テンプレートベースやノイズ混在観測に基づく形状再構築が容易に可能である。
• 30K回の訓練イテレーションでのみ、SAPは300Kイテレーションで学習された最良のPoints2Surfモデルに近い性能に到達し、高いサンプル効率を示した。