[논문 리뷰] Learning Manifold Patch-Based Representations of Man-Made Shapes

Dmitriy Smirnov, Mikhail Bessmeltsev외 1명|arXiv (Cornell University)|2019. 06. 28.

3D Shape Modeling and Analysis참고 문헌 78인용 수 5

한 줄 요약

이 논문은 2D 스케치에서 고해상도, 편집 가능한 3D 복원을 가능하게 하는, Coons 패치로 구성된 탄성 있는 매개변수형 템플릿을 학습하는 자기지도 학습 딥 러닝 프레임워크를 제안한다. 다양체 위상 구조를 유지하고 자기 교차를 방지하기 위해 기하학적 감지 손실 함수를 도입함으로써, 희소하고 해상도에 영향을 받지 않으며 CAD와 호환되는 표면 표현을 생성한다. 이는 자연스러운 스케치로의 일반화를 가능하게 하며 기존 방법보다 복원 품질과 편집 가능성에서 뛰어나다.

ABSTRACT

Choosing the right representation for geometry is crucial for making 3D models compatible with existing applications. Focusing on piecewise-smooth man-made shapes, we propose a new representation that is usable in conventional CAD modeling pipelines and can also be learned by deep neural networks. We demonstrate its benefits by applying it to the task of sketch-based modeling. Given a raster image, our system infers a set of parametric surfaces that realize the input in 3D. To capture piecewise smooth geometry, we learn a special shape representation: a deformable parametric template composed of Coons patches. Naively training such a system, however, is hampered by non-manifold artifacts in the parametric shapes and by a lack of data. To address this, we introduce loss functions that bias the network to output non-self-intersecting shapes and implement them as part of a fully self-supervised system, automatically generating both shape templates and synthetic training data. We develop a testbed for sketch-based modeling, demonstrate shape interpolation, and provide comparison to related work.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 통해 학습 가능한 동시에 전통적인 CAD 워크플로우와 호환되고 기하학적으로 해석 가능한 3D 형태 표현을 개발하기.
• 훈련 데이터가 부족한 상황에서 불완전하고 모호한 2D 스케치로부터 완전하고 고품질의 3D 인공 구조물 형태를 복원하는 문제를 해결하기.
• 학습된 매개변수형 패치 표현에서 자기 교차 및 비다양체 표면과 같은 위상적 오류를 해결하기.
• 짝지어진 스케치-모델 데이터 세트가 필요 없이 합성 데이터에서 자연스러운 스케치로의 일반화를 가능하게 하기.
• 다양한 수의 부품을 가진 알고리즘 기반의 탄성 있는 템플릿 생성을 통해 형태 범주 내의 구조적 다양성을 지원하기.

제안 방법

• 모델은 각각 제어점으로 정의되는 Coons 패치로 구성된 탄성 있는 매개변수형 템플릿을 사용하여 3D 인공 구조물 형태를 희소하고 해상도에 영향을 받지 않으며 편집 가능한 방식으로 표현한다.
• 자기 교차와 비다양체 구성 요소를 방지하기 위해 3D 표면에 직접 작용하는 새로운 기하학 기반 손실 함수를 도입하여 위상적 정확성을 보장한다.
• 완전히 자기지도 학습된 훈련 파이프라인은 예술적 스케치의 다양성을 모방한 증강 전략을 사용해 합성 스케치 데이터를 생성함으로써 레이블이 붙은 스케치-3D 모델 쌍이 필요 없도록 한다.
• 딥 뉴럴 네트워크를 사용해 입력 래스터 스케치에서 패치 제어점을 예측하며, 이는 입력 이미지를 매개변수형 표면 매개변수 집합으로 매핑하는 데 사용된다.
• 형태 범주 내의 구조적 다양성은 다양한 수의 패치를 가진 범주별 탄성 템플릿을 생성함으로써 모델링되며, 이는 복잡한 형태의 모듈러 표현을 가능하게 한다.
• 노말 및 곡률에 대한 닫힌 형식의 기하학적 표현을 활용하여 기하학적 감독을 미분 가능하게 하여 복원 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 짝지어진 훈련 데이터가 없이도 불완전한 2D 스케치에서 고품질의 위상적으로 타당한 3D 매개변수형 표면 표현을 생성할 수 있는가?
• RQ2 학습된 패치 기반 표면 표현에서 다양체 위상 구조를 유지하고 자기 교차를 방지하기 위해 어떻게 기하학적 감지 손실 함수를 설계할 수 있는가?
• RQ3 예술적 스케치 변형 기반의 자기지도 학습 데이터 생성 파이프라인은 자연스러운 스케치로의 일반화를 위해 얼마나 현실적인 훈련 데이터를 생성할 수 있는가?
• RQ4 패치 기반 매개변수 표현은 밀도 있는 표현 방식(예: 볼록 격자, 포인트 클라우드, 메쉬)과 비교해 편집 가능성, 해상도 독립성, 복원 품질 측면에서 어떻게 다를 수 있는가?
• RQ5 구조적 구성이 변하는 탄성 있는 매개변수형 템플릿은 다양한 형태 범주를 지원하면서도 일반화 능력과 강건성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 메쉬 기반 대안보다 훨씬 낮은 복잡성으로 1,000 이하의 자유도(구형 템플릿 기준 816)를 유지하면서도 높은 기하학적 정밀도를 확보한다.
• 합성 데이터로만 훈련되었음에도 불구하고 자연스러운 스케치로의 일반화가 효과적으로 이루어지며, 스케치 노이즈와 일관성 없는 그림자에 강건함을 입증한다.
• 기하학적 감지 손실 함수는 자기 교차 및 비다양체 오류를 성공적으로 방지하여 후처리 없이도 밀도 있고 위상적으로 일관된 표면 출력을 생성한다.
• AtlasNet과 비교해 패치 간 교차 및 구멍을 피함으로써 더 깔끔하고 신뢰할 수 있는 표면 표현을 생성하며, 더 낮은 차원의 매개변수화를 달성한다.
• 출력이 제어점 기반으로 되어 있어 Pixel2Mesh 및 기타 메쉬 기반 방법보다 편집 가능성과 해석 가능성에서 뛰어나며, CAD 도구와 직접 호환된다.
• 특히 날카로운 특징과 조각별로 부드러운 기하학을 가진 형태에서 벤치마크 스케치에서 뛰어난 복원 품질을 달성한다. 이는 CSG나 볼록 기반 기준선 방법이 잘 처리하지 못하는 영역이다.