[논문 리뷰] SPAGHETTI: Editing Implicit Shapes Through Part Aware Generation

Amir Hertz, Or Perel외 3명|arXiv (Cornell University)|2022. 01. 31.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

SPAGHETTI는 신경 은닉 형상에 대한 파트 인식 생성 모델을 도입하여, 형상 파트의 분리된 잠재 표현을 통해 비감독적 방식으로 국소적이고 인터랙티브한 편집을 가능하게 한다. 트랜스포머 기반 아키텍처를 통해 내재 기하학적 구조와 외재적 공간 임베딩을 분리함으로써, 파트 감독 없이도 변환, 혼합, 보간을 지원하며, 새로운 형상을 위한 고해상도 편집과 형상 복원을 달성한다.

ABSTRACT

Neural implicit fields are quickly emerging as an attractive representation for learning based techniques. However, adopting them for 3D shape modeling and editing is challenging. We introduce a method for $\mathbf{E}$diting $\mathbf{I}$mplicit $\mathbf{S}$hapes $\mathbf{T}$hrough $\mathbf{P}$art $\mathbf{A}$ware $\mathbf{G}$enera$\mathbf{T}$ion, permuted in short as SPAGHETTI. Our architecture allows for manipulation of implicit shapes by means of transforming, interpolating and combining shape segments together, without requiring explicit part supervision. SPAGHETTI disentangles shape part representation into extrinsic and intrinsic geometric information. This characteristic enables a generative framework with part-level control. The modeling capabilities of SPAGHETTI are demonstrated using an interactive graphical interface, where users can directly edit neural implicit shapes.

연구 동기 및 목표

• 명시적 파트 애너테이션을 요구하지 않고 신경 은닉 3D 형상의 인터랙티브이고 국소적인 편집을 가능하게 하기 위해.
• 세부 기하학적 정보와 외재적 공간 임베딩으로 분리된 형상 파트 표현을 통해 세밀한 제어를 가능하게 하기 위해.
• 잠재 공간이 새로운 형상에 일반화되도록 파트 수준의 조작(예: 변환, 교체, 보간)을 지원하기 위해.
• 분리된 잠재 코드 구조를 활용하여 새로운, 관측되지 않은 형상에 대한 형상 복원을 가능하게 하기 위해.
• 오크트리 기반 가속화를 통해 효율적인 렲팅과 사용자 상호작용을 지원하는 인터랙티브 실시간 편집 인터페이스를 제공하기 위해.

제안 방법

• 모델은 형상의 잠재 코드 zₐ를 각각 별도된 3D 파트의 기하학적 구조와 전역 변환을 인코딩하는 파트 전용 잠재 코드 Zᵦ로 분해하는 분해 네트워크를 사용한다.
• 트랜스포머 기반 혼합 네트워크는 Zᵦ를 처리하여 파트 간 관계와 공간적 맥락을 인코딩한 문맥 임베딩 Z꜀를 생성한다.
• 점유 네트워크는 트랜스포머 디코더로 구현되어 Z꜀에 주목함으로써 임의의 쿼리 포인트에서 점유도를 예측함으로써 최종 은닉 형상을 생성한다.
• 편집은 직접적으로 잠재 공간에서 파트 외재적 매개변수(예: 회전, 이동)를 수정하거나 다른 형상의 파트 코드로 교체함으로써 수행된다.
• 분리된 잠재 공간을 활용하여 관측되지 않은 형상의 파트 코드를 최적화함으로써, 훈련 데이터를 초월한 일반화를 가능하게 하는 형상 복원 방법을 제공한다.
• 시스템은 오크트리 가속화 구조를 사용하여 그래픽 사용자 인터페이스 내에서 실시간 렌더링과 인터랙티브 편집을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적 파트 감독 없이도 신경 은닉 형상을 파트 수준에서 편집할 수 있는가?
• RQ2 잠재 표현 내에서 내재 기하학적 정보와 외재적 기하학적 정보를 어떻게 분리하여 국소 변형을 가능하게 할 수 있는가?
• RQ3 생성 모델이 지속적이고 일관된 방식으로 서로 다른 형상의 파트를 보간 및 혼합할 수 있는가?
• RQ4 잠재 공간 복원을 통해 모델이 관측되지 않은 형상으로 얼마나 잘 일반화되는가?
• RQ5 분리된 표현이 고품질의 인터랙티브 편집과 실시간 성능를 지원할 수 있는가?

주요 결과

• SPAGHETTI는 분리된 잠재 공간 내에서 파트 수준 잠재 코드를 직접 조작함으로써 신경 은닉 형상의 인터랙티브이고 실시간 편집을 가능하게 한다.
• 내재 기하학적 구조와 외재적 공간 임베딩을 분리함으로써 높은 품질의 형상 생성과 편집을 달성하며, 분포 붕괴 없이 국소 아핀 변환을 가능하게 한다.
• 다른 수의 파트를 가진 형상 간에 파트 수준의 보간을 가능하게 하며, 파트 대응 없이도 트랜스포머 디코더의 보간된 어텐션 가중치를 활용한다.
• 정량적 평가에서 혼합된 형상가 입력 파트의 표면적과 유사한 면적을 유지하며(면적 평가), 분할 분포에서 저값의 젠슨-쇼난 분산을 달성함(분할 평가), 이는 높은 정밀도를 의미한다.
• 형상 복원 방법은 관측되지 않은 형상의 파트 코드를 성공적으로 복원하여 훈련 분포 외의 새로운 기하학적 형상을 편집할 수 있도록 한다.
• 한계점으로는 감독 없이 인식된 의미적 파트가 과잉 또는 과소 클러스터링될 수 있으며, 예를 들어 한 개의 의자 다리를 여러 개의 가우시안으로 인식하거나 등받이를 여러 파트로 분할할 수 있다.