[논문 리뷰] BSP-Net: Generating Compact Meshes via Binary Space Partitioning

Zhiqin Chen, Andrea Tagliasacchi외 1명|arXiv (Cornell University)|2019. 11. 16.

3D Shape Modeling and Analysis참고 문헌 58인용 수 13

한 줄 요약

BSP-Net는 평면 집합 위에서 이진 공간 분할(BSP) 트리를 학습함으로써 컴팩트하고, 수증기 없는, 날카로운 특징을 지닌 다각형 메쉬를 생성하는 비지도 학습 기반의 딥러닝 방법이다. 등고선 표면 추출 없이 직접 저다각형 메쉬를 출력하여 평균 654개의 다각형으로서 최신 기술 수준의 재구성 품질을 달성하고, 새로운 Edge Chamfer Distance 지표를 통해 뛰어난 모서리 유지 능력을 확보한다.

ABSTRACT

Polygonal meshes are ubiquitous in the digital 3D domain, yet they have only played a minor role in the deep learning revolution. Leading methods for learning generative models of shapes rely on implicit functions, and generate meshes only after expensive iso-surfacing routines. To overcome these challenges, we are inspired by a classical spatial data structure from computer graphics, Binary Space Partitioning (BSP), to facilitate 3D learning. The core ingredient of BSP is an operation for recursive subdivision of space to obtain convex sets. By exploiting this property, we devise BSP-Net, a network that learns to represent a 3D shape via convex decomposition. Importantly, BSP-Net is unsupervised since no convex shape decompositions are needed for training. The network is trained to reconstruct a shape using a set of convexes obtained from a BSP-tree built on a set of planes. The convexes inferred by BSP-Net can be easily extracted to form a polygon mesh, without any need for iso-surfacing. The generated meshes are compact (i.e., low-poly) and well suited to represent sharp geometry; they are guaranteed to be watertight and can be easily parameterized. We also show that the reconstruction quality by BSP-Net is competitive with state-of-the-art methods while using much fewer primitives. Code is available at https://github.com/czq142857/BSP-NET-original.

연구 동기 및 목표

• 암시 함수 기반 방법에서의 등고선 표면 추출로 인한 비효율성과 시각적 품질 저하 문제를 해결하기 위해, 딥러닝 기반 3D 모델링에서 직접적이고 컴팩트한 메쉬 생성의 부족을 해결한다.
• 지식 기반 볼록 분해가 필요 없이, 신경망이 직접 다각형 메쉬를 내재적으로 출력할 수 있도록 엔드 투 엔드 학습을 가능하게 한다.
• 컴팩트(저다각형), 수증기 없고 날카로운 기하학적 특징을 유지할 수 있는 메쉬를 생성함으로써 고품질 3D 모델링 및 렌더링에 필수적인 요소를 확보한다.
• 공유된 평면과 볼록 부분을 사용하여 모양을 재구성하는 자기지도 학습 프레임워크를 수립함으로써, 볼록 수준에서 자연스러운 형태 대응을 가능하게 한다.

제안 방법

• 네트워크는 다층 아키텍처를 사용한다: L₀ 레이어의 MLP가 입력 점들에 대해 p개의 평면 방정식(ax + by + cz + d = 0)을 생성하며, 이는 L₁ 레이어에서 평가된다.
• L₂ 레이어의 학습 가능한 이진 행렬 T ∈ ℝ^(p×c)가 미분 가능 선택 메커니즘을 통해 평면을 c개의 볼록 형태 기하 원소로 그룹화하여 볼록 부분을 형성한다.
• L₃ 레이어는 볼록 부분들을 합하거나 min 풀링을 통해 조합하여 재구성된 형태를 나타내는 최종 암시 함수를 형성한다.
• 추론 시, 네트워크는 평면 집합과 그들의 볼록 그룹화(T에 의해 결정됨)를 출력하며, 이를 고전적인 구성 고체 기하(CSG) 파이프라인에 활용하여 명시적이고 수증기 없는 다각형 메쉬를 추출한다.
• 네트워크는 지식 기반 볼록 분해가 필요 없이, 입력 형태와 그 암시 표현만을 사용하여 자기지도 재구성 손실을 통해 학습된다.
• BSP 트리의 볼록성과 재귀적 분할 성질을 활용하여 메쉬의 컴팩트성과 위상적 정확성을 보장한다.

실험 결과

연구 질문

• RQ1 지식 기반 볼록 분해가 필요 없이, 공유된 평면 집합을 통해 딥 뉴럴 네트워크가 3D 형태를 볼록 부분의 합집합으로 표현할 수 있는가?
• RQ2 학습된 이 같은 BSP-트리 아키텍처는 고비용의 등고선 표면 추출 없이도 컴팩트하고 수증기 없으며 날카로운 특징을 지닌 다각형 메쉬를 직접 생성할 수 있는가?
• RQ3 이러한 메쉬 생성 방법의 재구성 품질은 기하학적 충실도와 모서리 유지 능력 측면에서 최신 기술 기반의 암시 함수 방법과 비교해 어떻게 되는가?
• RQ4 학습된 볼록 분해가 다양한 형태 간에 의미 있는 형태 대응을 얼마나 잘 가능하게 하는가?

주요 결과

• BSP-Net는 최신 기술 대비 경쟁적인 Chamfer Distance 성능을 달성하였으며, 메쉬당 평균 654개의 다각형으로 컴팩트함을 입증하였다.
• Edge Chamfer Distance(ECD) 측면에서 다른 방법들에 비해 뚜렷한 우월성을 보이며, 모서리 및 모서리와 같은 날카로운 기하학적 특징의 유지 능력이 뛰어나다.
• 생성된 메쉬는 수증기 없음을 보장하며, 후처리 등고선 표면 추출이 필요 없어 추론 시간이 약 0.5초로 단축된다.
• 시각적 품질 분석 결과, BSP-Net는 균일한 점군 또는 볼록체 샘플링에 의존하는 방법보다 적은 수의 더 일관성 있는 다각형과 더 우수한 표면 연속성을 지닌 메쉬를 생성한다.
• 모든 형태가 동일한 학습된 평면 집합과 볼록 그룹화를 사용하여 재구성되기 때문에, 볼록 부분 수준에서 자연스러운 형태 대응이 가능하다.