[논문 리뷰] GeoCode: Interpretable Shape Programs

Ofek Pearl, Itai Lang외 3명|arXiv (Cornell University)|2022. 12. 19.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

GeoCode는 점군 또는 스케치를 해석 가능한 매개변수 공간으로 매핑하는 절차적 3D 형상 합성 프레임워크를 소개한다. 이는 일관되고 구조적으로 타당한 고품질 메시를 생성하는 데 있어 직관적이고 고수준의 편집을 가능하게 한다. 이 방법은 노이즈가 있는 점군이나 자유형 스케치와 같은 다양한 입력에 대해 뛰어난 재구성 정확도와 강인성을 달성하며, 물리적 타당성과 형상 보간 기능도 지원한다.

ABSTRACT

The task of crafting procedural programs capable of generating structurally valid 3D shapes easily and intuitively remains an elusive goal in computer vision and graphics. Within the graphics community, generating procedural 3D models has shifted to using node graph systems. They allow the artist to create complex shapes and animations through visual programming. Being a high-level design tool, they made procedural 3D modeling more accessible. However, crafting those node graphs demands expertise and training. We present GeoCode, a novel framework designed to extend an existing node graph system and significantly lower the bar for the creation of new procedural 3D shape programs. Our approach meticulously balances expressiveness and generalization for part-based shapes. We propose a curated set of new geometric building blocks that are expressive and reusable across domains. We showcase three innovative and expressive programs developed through our technique and geometric building blocks. Our programs enforce intricate rules, empowering users to execute intuitive high-level parameter edits that seamlessly propagate throughout the entire shape at a lower level while maintaining its validity. To evaluate the user-friendliness of our geometric building blocks among non-experts, we conducted a user study that demonstrates their ease of use and highlights their applicability across diverse domains. Empirical evidence shows the superior accuracy of GeoCode in inferring and recovering 3D shapes compared to an existing competitor. Furthermore, our method demonstrates superior expressiveness compared to alternatives that utilize coarse primitives. Notably, we illustrate the ability to execute controllable local and global shape manipulations.

연구 동기 및 목표

• 직관적이고 고수준의 편집을 가능하게 하면서도 구조적 타당성과 메시 품질을 유지할 수 있는 3D 형상 표현 방식을 개발하는 데 목적을 두며.
• 일般적으로 직관적이지 않은 신경 암시 표현과 일반적으로 해상도가 낮은 절차적 방법 사이의 격차를 메우기 위해, 해석 가능한 매개변수와 고해상도 메시 생성을 융합한다.
• 점군, 스케치, 간소화되거나 노이즈가 있는 기하학적 구조와 같은 다양한 입력으로부터 정확하고 강인한 형상 재구성을 가능하게 한다.
• 형상 혼합, 보간, 물리 시뮬레이션과 같은 고급 편집 작업을 지원하여 일관성과 타당성을 확보한다.
• 실제 스캔이나 이미지에서 유래한 스케치와 같은 분포 외 입력으로도 일반화 가능한 시스템을 구축한다.

제안 방법

• 해석 가능한 매개변수에서 고품질 3D 메시를 생성하기 위한 새로운 절차적 프로그램을 설계하여 기하학적 및 위상적 규칙을 강제 적용함으로써 구조적 타당성을 확보한다.
• 신경망 인코더가 입력 점군 또는 스케치를 인간이 이해할 수 있는 매개변수 공간으로 매핑하며, 이는 이산적(예: 레일 수), 이진적(예: 암막), 연속적(예: 다리 두께) 속성을 모두 포괄한다.
• 매개변수 공간은 의미적 부분 레이블을 포함하여 생성된 형상 간 일관된 세분화를 가능하게 한다.
• 절차적 프로그램은 고수준 매개변수에서 유도된 변경 사항을 저수준 기하 연산을 통해 전파함으로써 형상 무결성을 유지하면서 최종 메시를 구성한다.
• 대규모 합성 데이터셋을 활용하여 해석 가능한 매개변수 공간을 스윕함으로써, 실제 세계 입력으로의 일반화를 가능하게 하였다.
• 편집은 매개변수를 직접 수정함으로써 수행되며, 변경 사항이 절차적 파이프라인을 통해 자동으로 전파되어 메시가 갱신된다.

실험 결과

연구 질문

• RQ1 해석 가능한 매개변수 공간에서 고해상도 3D 메시를 생성하는 절차적 프로그램을 설계할 수 있는가, 동시에 구조적 타당성을 유지할 수 있는가?
• RQ2 신경망이 점군이나 스케치와 같은 다양한 입력으로부터 해석 가능한 매개변수 표현을 정확히 추론할 수 있는가?
• RQ3 노이즈, 단순화, 분포 외 스케치와 같은 입력 변형에 대해 시스템의 강인성은 어느 정도인가?
• RQ4 매개변수 공간이 3D 형상의 직관적 편집, 혼합, 보간을 어느 정도 지원할 수 있는가?
• RQ5 생성된 형상들은 물리적으로 타당하며 표준 3D 모델링 파이프라인에서 직접 사용 가능한가?

주요 결과

• GeoCode는 형상 재구성에서 상당히 낮은 Chamfer 거리를 기록하였으며, 약 2,000개의 면을 가진 단순화된 메시에 대해 점군 입력 기준 평균 0.00041, 스케치 입력 기준 0.00117을 기록하였다.
• 메시를 10배 단순화함으로써(약 25,000개에서 약 2,000개의 면으로) 재구성 품질이 약간만 떨어지며, 입력 세부 정보 감소에 대한 강건성을 보였다.
• 극도로 단순화된 경우(100배, 약 120개의 면), 점군 기준 Chamfer 거리는 0.0028로 증가하고 스케치 기준 0.00517로 상승하여 극단적 단순화에 대해 중간 정도의 민감성을 보였다.
• 분포 외 입력, 즉 실제 스캔, 노이즈가 있는 점군, 이미지에서 유래한 스케치 등에도 잘 일반화되며, 구조적 타당성과 해석 가능성 유지하였다.
• 물리적 타당성은 성공적인 물리 시뮬레이션을 통해 입증되었으며, 화분이나 의자와 같은 생성된 물체들이 평평한 평면 위에서 위에서 떨어졌을 때도 안정적으로 유지되었다.
• 형상 혼합과 보간은 효과적이고 일관되며, 서로 다른 형상의 매개변수를 조합함으로써 구조적으로 타당하고 물리적으로 타당한 하이브리드 형상을 생성하였으며, 부분 이동도 혼합된 인스턴스 간에 유지되었다.