[논문 리뷰] ShapeFlow: Learnable Deformations Among 3D Shapes

Chiyu Max Jiang, Jingwei Huang외 2명|arXiv (Cornell University)|2020. 06. 14.

3D Shape Modeling and Analysis참고 문헌 66인용 수 14

한 줄 요약

ShapeFlow는 신경망을 통해 벡터장의 파arameter화를 통해 3D 형상 간의 연속적이고 이遍적 변형을 학습하는 플로우 기반 생성 모델을 제안한다. 이는 기하학적 세부 정보를 유지하면서도 위상 구조에 구애받지 않는 형상 생성을 가능하게 한다. 모델은 체적 보존, 자기 교차 방지, 역행성 등의 바람직한 성질을 보장하여 고품질의 형상 보간, 스타일 전이, 다양한 형상 클래스 간 비지도 대응 학습을 가능하게 한다.

ABSTRACT

We present ShapeFlow, a flow-based model for learning a deformation space for entire classes of 3D shapes with large intra-class variations. ShapeFlow allows learning a multi-template deformation space that is agnostic to shape topology, yet preserves fine geometric details. Different from a generative space where a latent vector is directly decoded into a shape, a deformation space decodes a vector into a continuous flow that can advect a source shape towards a target. Such a space naturally allows the disentanglement of geometric style (coming from the source) and structural pose (conforming to the target). We parametrize the deformation between geometries as a learned continuous flow field via a neural network and show that such deformations can be guaranteed to have desirable properties, such as be bijectivity, freedom from self-intersections, or volume preservation. We illustrate the effectiveness of this learned deformation space for various downstream applications, including shape generation via deformation, geometric style transfer, unsupervised learning of a consistent parameterization for entire classes of shapes, and shape interpolation.

연구 동기 및 목표

• 기존 생성 모델이 고정된 위상 구조를 요구하고, 재구성 과정에서 세밀한 기하학적 세부 정보를 상실하는 데서 비롯되는 한계를 해결하기 위해.
• 큰 내부 클래스 변형(다른 위상과 메쉬 연결성 포함)을 가진 3D 형상 전체 클래스에 걸쳐 고품질의 형상 생성 및 변형을 가능하게 하기 위해.
• 비지도 밀도 있는 형상 대응과 일관된 매개변수화를 지원하는 공통의 기하학적으로 의미 있는 변형 공간을 학습하기 위해.
• 기하학적 스타일을 구조적 포즈에서 분리하여 플로우 기반의 형상 조작을 통해 전통적인 생성 모델의 대안을 제시하기 위해.
• 발산이 없는, 역행 가능한 플로우 필드를 신경망으로 파arameter화하여 물리적으로 타당한 변형을 보장하고 체적 보존 및 자기 교차 방지를 실현하기 위해.

제안 방법

• ShapeFlow는 신경망으로 파arameter화된 연속적 플로우 필드로 형상 변형을 모델링하며, 소스 형상 Xj가 학습된 벡터장에 의해 타겟 형상 Xi와 일치하도록 변형된다.
• 변형은 플로우 함수 Φθ^ij로 제어되며, 이는 소스 형상 Xj를 타겟 Xi로 이동시키는 데 사용되며, 3D 공간 내 학습된 벡터장에서 유도된다.
• Φθ^ij = (Φθ^ji)^−1 를 보장함으로써 이원성과 역행성을 확보하며, 항등성(Φθ^ii(Xi) = Xi)을 유지한다.
• 체적 보존은 플로우가 발산이 없는 것으로 학습되도록 함으로써 달성되며, 이는 해석적으로 솔레노이드 필드를 정규화하는 신경망 아키텍처를 통해 명시적으로 정규화된다.
• 等거리성 및 대칭성 제약은 손실 함수에 추가 정규화 항을 적용하여 표면 왜곡을 줄이고 형상 무결성을 유지한다.
• 모델은 잠재 공간 내 변형 거리에 기반하여 비지도로 학습되며, 이는 형상 클래스 간 캐논리컬라이제이션과 밀도 있는 대응 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 플로우 기반 모델은 형상 위상에 관계없이 변형 공간을 학습할 수 있을까? 이때 세밀한 기하학적 세부 정보는 유지되는가?
• RQ2 신경망을 어떻게 사용하여 3D 형상 간의 연속적, 이원적, 체적 보존 플로우를 파arameter화할 수 있는가?
• RQ3 이러한 변형 공간은 자연스럽게 소스에서 온 기하학적 스타일과 타겟으로 향하는 구조적 포즈를 분리할 수 있는가?
• RQ4 학습된 변형 공간이 얼마나 잘 비지도 밀도 있는 형상 대응 학습과 형상 클래스 간 일관된 매개변수화를 지원하는가?
• RQ5 발산이 없는 플로우 및 변형 길이 보존과 같은 제약 조건이 생성된 변형의 품질과 타당성에 얼마나 기여하는가?

주요 결과

• ShapeFlow는 위상 구조의 큰 변화가 있는 다양한 3D 형상 클래스 간에도 고품질의 형상 생성을 가능하게 하는 변형 공간을 성공적으로 학습하였다.
• 모델은 발산이 없는 플로우 필드를 통해 체적 보존을 달성하였으며, 인간 형상 애니메이션 시퀀스에서 근사적으로 0에 가까운 체적 변화로 실증적으로 검증되었다.
• 학습된 플로우의 본질적 성질 덕분에 자기 교차가 방지되었으며, 변형 시퀀스에서 메쉬의 접힘 또는 왜곡이 관찰되지 않았다.
• 학습된 변형 공간은 비지도 밀도 있는 형상 대응을 가능하게 하였으며, 특히 초기 정렬이 불량한 형상(예: 소파 vs. 바스툴)에서 더 높은 의미적 매칭 점수를 달성하였다.
• 파arametric 모델 보간과 비교했을 때 CAD 수준의 기하학적 품질을 갖는 중간 형상을 생성하였으며, 높은 시각적 정확도를 보였다.
• 변형 공간은 기하학적 스타일 전이, 재구성, 일관된 매개변수화 등의 다수의 후행 응용을 지원하였으며, 명시적 의미적 감독 없이도 가능하였다.