[논문 리뷰] Neural Shape Deformation Priors

Jiapeng Tang, Lev Markhasin외 3명|arXiv (Cornell University)|2022. 10. 11.

3D Shape Modeling and Analysis인용 수 13

한 줄 요약

이 논문은 변형을 국소적이고 기하학적 지식을 반영한 필드의 조합으로 모델링하는 트랜스포머 기반 네트워크를 사용하여 희소한 사용자 제공 핸들 이동으로부터 자연스럽고 연속적인 메쉬 변형을 예측하는 학습 기반 방법인 Neural Shape Deformation Priors를 소개한다. 캐논리컬라이제이션과 주목적 기반 국소 잠재 코드 집합을 활용하여 최적화 기반 및 이전의 신경망 방법에 비해 뛰어난 일반화 능력과 정확도를 달성한다.

ABSTRACT

We present Neural Shape Deformation Priors, a novel method for shape manipulation that predicts mesh deformations of non-rigid objects from user-provided handle movements. State-of-the-art methods cast this problem as an optimization task, where the input source mesh is iteratively deformed to minimize an objective function according to hand-crafted regularizers such as ARAP. In this work, we learn the deformation behavior based on the underlying geometric properties of a shape, while leveraging a large-scale dataset containing a diverse set of non-rigid deformations. Specifically, given a source mesh and desired target locations of handles that describe the partial surface deformation, we predict a continuous deformation field that is defined in 3D space to describe the space deformation. To this end, we introduce transformer-based deformation networks that represent a shape deformation as a composition of local surface deformations. It learns a set of local latent codes anchored in 3D space, from which we can learn a set of continuous deformation functions for local surfaces. Our method can be applied to challenging deformations and generalizes well to unseen deformations. We validate our approach in experiments using the DeformingThing4D dataset, and compare to both classic optimization-based and recent neural network-based methods.

연구 동기 및 목표

• 희소한 핸들 입력이 많은 가능한 변형을 유도하는 사용자 가이드 3D 모델 변형의 불안정한 성격을 해결한다.
• 모든 영역을 동일하게 다루는 수작업 기반 사전 지식(예: ARAP)의 한계를 극복하여 비정적 물체에서 비현실적인 변형을 방지한다.
• 기본 기하 구조가 필요 없이 다양한 토폴로지, 정점 수, 임의의 자세를 가진 메쉬에서도 견고한 모델링을 가능하게 한다.
• 데이터 기반의 기하학적 지능을 가진 변형 사전 지식을 통해 예측 불가능한 변형과 분포를 벗어난 형태로의 일반화를 향상시킨다.
• 무한한 정점 수와 분리된 구성 요소를 지원하는 연속적인 변형 필드 표현을 개발하여 고해상도 편집을 가능하게 한다.

제안 방법

• 입력 메쉬의 해상도에 관계없이 매끄럽고 고해상도 출력을 가능하게 하기 위해 근표면 영역에서 정의된 연속적인 3D 변형 필드로 형태 변형을 표현한다.
• 두 단계의 캐논리컬라이제이션 과정을 사용한다: 먼저 뒤집힌 변형 필드를 통해 임의의 자세를 가진 소스 메쉬를 캐논리컬 자세로 변환하고, 그 다음 목표 자세로 변형한다.
• 입력 포인트 클러스터를 표면 기하학성과 부분적 변형 흐름으로 인코딩하여 벡터 어텐션 블록을 사용해 국소적 잠재 코드와 글로벌 특징 벡터로 변환하는 트랜스포머 기반 변형 네트워크(TD-Nets)를 도입한다.
• 특징 유사도를 기반으로 이웃한 국소 잠재 코드를 집계하는 주목적 디코더를 활용하여 각 공간 포인트의 이동 벡터를 예측한다.
• 집계된 특징에서 최종 정점 이동을 예측하기 위해 다층 퍼셉트론(MLP)을 사용하여 엔드 투 엔드 미분 가능한 변형 예측을 가능하게 한다.
• 다양한 물체 클래스에서 실제적인 형태 변화를 포함하는 대규모 비정적 변형 데이터셋(DeformingThing4D)을 활용해 다양한 현실적인 형태 변화에 대한 모델 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 훈련 분포를 초월한 비정적 변형에 대해 잘 일반화되는 변형 사전 지식을 학습할 수 있는가?
• RQ2 전역 잠재 표현과 비교해 국소적이고 기하학적 의존성 있는 필드의 조합으로 변형을 모델링할 경우 일반화 능력이 어떻게 향상되는가?
• RQ3 임의의 자세를 가진 소스 메쉬를 처리할 때 캐논리컬라이제이션이 성능과 견고성에 얼마나 기여하는가?
• RQ4 정확한 이동 예측을 위한 관련 변형 기술을 선택하는 데 있어 주목적 기반 특징 쿼리가 거리 기반 보간보다 우수한가?
• RQ5 어려운 변형에 대해 전통적인 최적화 기반 방법(예: ARAP)과 최근의 신경 기반 기준 모델(예: ShapeFlow, NFGP)과 비교해 정확도와 현실성에서 본 논문의 방법은 어떻게 성과를 내는가?

주요 결과

• 제안된 방법은 DeformingThing4D-Animals 데이터셋에서 ARAP 및 다른 신경 기반 기준 모델보다 정량적 지표(예: ℓ₂ 정점 오차)와 정성적 현실성에서 모두 뛰어난 성능을 보였다.
• 주목적 기반 특징 쿼리 메커니즘이 거리 기반 보간보다 ℓ₂ 정점 오차를 크게 감소시켜 맥락 인식 기반 기술 선택의 중요성을 입증했다.
• 캐논리컬라이제이션이 일반화 능력을 향상시켰다: 캐논리컬라이제이션 없이 훈련된 모델은 특히 분포를 벗어난 자세에서 상당히 높은 표면 오차를 보였다.
• 모델은 예측 불가능한 개체와 극단적인 변형에도 잘 일반화되어, 학습된 기하학적 지능 기반 사전 지식이 강력한 인덕티브 바이어스를 제공함을 시사한다.
• 제거 실험 결과, 포인트 트랜스포머 인코더를 PointNet++로 대체할 경우 성능 저하가 발생하여 제안된 주목적 기반 아키텍처의 우수성을 확인했다.
• 모델은 분리된 구성 요소와 다양한 정점 수를 가진 메쉬에서도 고해상도 변형을 구현할 수 있었으며, 이는 변형 필드 표현의 연속성을 검증한다.