[論文レビュー] BSP-Net: Generating Compact Meshes via Binary Space Partitioning

Zhiqin Chen, Andrea Tagliasacchi+1 more|arXiv (Cornell University)|Nov 16, 2019

3D Shape Modeling and Analysis参考文献 58被引用数 13

ひとこと要約

BSP-Net は、平面の集合上にバイナリースペースパartitioning (BSP) 樹木を学習することで、コンパクトで、水密性があり、鋭い特徴を持つ多角形メッシュを生成する教師なし深層学習手法である。等高線抽出を経由せずに直接低多角形メッシュを出力し、平均654面で最先端の再構成品質を達成するとともに、新規のエッジ・チャンファーディスタンス指標により優れたエッジ保持性能を示す。

ABSTRACT

Polygonal meshes are ubiquitous in the digital 3D domain, yet they have only played a minor role in the deep learning revolution. Leading methods for learning generative models of shapes rely on implicit functions, and generate meshes only after expensive iso-surfacing routines. To overcome these challenges, we are inspired by a classical spatial data structure from computer graphics, Binary Space Partitioning (BSP), to facilitate 3D learning. The core ingredient of BSP is an operation for recursive subdivision of space to obtain convex sets. By exploiting this property, we devise BSP-Net, a network that learns to represent a 3D shape via convex decomposition. Importantly, BSP-Net is unsupervised since no convex shape decompositions are needed for training. The network is trained to reconstruct a shape using a set of convexes obtained from a BSP-tree built on a set of planes. The convexes inferred by BSP-Net can be easily extracted to form a polygon mesh, without any need for iso-surfacing. The generated meshes are compact (i.e., low-poly) and well suited to represent sharp geometry; they are guaranteed to be watertight and can be easily parameterized. We also show that the reconstruction quality by BSP-Net is competitive with state-of-the-art methods while using much fewer primitives. Code is available at https://github.com/czq142857/BSP-NET-original.

研究の動機と目的

• 3次元形状の深層学習における直接的でコンパクトなメッシュ生成の欠如、特に暗黙関数ベース手法における等高線抽出に起因する非効率性と視覚的劣化の問題に対処すること。
• 教師データとしての凸分割を必要とせず、ニューラルネットワークがネイティブに多角形メッシュを出力できるエンドツーエンドの学習を可能にすること。
• コンパクト（低多角形）、水密性があり、鋭い幾何的特徴を保持可能なメッシュの生成を実現すること—これは高品質な3次元モデリングおよびレンダリングにおいて不可欠である。
• 同じセットの平面と凸部分を共有することで、形状の凸レベルでの自然な形状対応を実現する自己教師学習の訓練枠組みを確立すること。

提案手法

• ネットワークは多層アーキテクチャを採用する：層 L₀ に配置されたMLPが、p 個の平面方程式（ax + by + cz + d = 0）を出力し、層 L₁ で入力点に対して評価される。
• 層 L₂ に配置された可学習バイナリ行列 T ∈ ℝ^(p×c) が、微分可能選択機構を介して平面を c 個の凸形状プリミティブにグループ化し、凸部分を形成する。
• 層 L₃ では、凸部分を和または min プーリングを用いて結合し、再構成形状を表す最終的な暗黙関数を形成する。
• 推論時、ネットワークは平面の集合とそれらの凸グループ化（T を介して）を出力し、これにより古典的な構成立体幾何学（CSG）パイプラインを用いて明示的で水密性のある多角形メッシュを抽出する。
• ネットワークは、入力形状とその暗黙的表現のみを用いた自己教師学習による再構成損失により訓練され、教師データとしての凸分割を必要としない。
• BSP 樹木の凸性および再帰的分割特性を活用することで、メッシュのコンパクト性とトポロジーの正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 教師データとしての凸分割を必要とせず、共通の平面セットを用いて3次元形状を凸部分の和として表現できるような深層ニューラルネットワークは学習可能か？
• RQ2 このような学習されたBSP-ツリー構造は、高価な等高線抽出を経由せずに、コンパクトで水密性があり、鋭い特徴を持つ多角形メッシュを直接生成可能か？
• RQ3 このようなメッシュ生成手法の再構成品質は、幾何的忠実度およびエッジ保持性能の観点から、最先端の暗黙関数ベース手法と比較してどの程度優れているか？
• RQ4 学習された凸分割は、異なる形状間でどの程度意味のある形状対応を可能にするか？

主な発見

• BSP-Net は、最先端の手法と比較して競争力のあるチャンファーディスタンス性能を達成しており、平均して1メッシュあたりたった654面で、極めて高いコンパクト性を示している。
• エッジ・チャンファーディスタンス（ECD）において、他の手法を顕著に上回っており、エッジやコーナーなどの鋭い幾何的特徴の保持能力に優れていることが示された。
• 生成されたメッシュは水密性が保証されており、等高線抽出の後処理を必要とせず、1メッシュあたりの推論時間を約0.5秒にまで短縮できる。
• 視覚的品質分析の結果、BSP-Net は均一な点群またはボクセルサンプリングに依存する手法と比較して、より少ない数の、より一貫性のある多角形と、より優れた表面連続性を持つメッシュを生成していることが判明した。
• 同じセットの学習済み平面と凸グループ化を用いるため、すべての形状が同じ基盤で再構成されるため、凸部分レベルでの自然な形状対応が実現されている。