[논문 리뷰] DualSDF: Semantic Shape Manipulation using a Two-Level Representation

Zekun Hao, Hadar Averbuch‐Elor외 2명|arXiv (Cornell University)|2020. 04. 06.

3D Shape Modeling and Analysis참고 문헌 36인용 수 6

한 줄 요약

DualSDF는 공통의 변동형 잠재 공간을 통해 유기적으로 연결된, 거친 의미 있는 기하 원소 기반 형상과 고해상도 부호거리함수(SDF) 모델을 조합한 이중 수준 3D 형상 표현을 제안한다. 이는 원소 편집이 즉각적으로 세부 기하 구조로 전파되면서 의미 일관성을 유지하는 직관적이고 인터랙티브한 형상 조작을 가능하게 한다.

ABSTRACT

We are seeing a Cambrian explosion of 3D shape representations for use in machine learning. Some representations seek high expressive power in capturing high-resolution detail. Other approaches seek to represent shapes as compositions of simple parts, which are intuitive for people to understand and easy to edit and manipulate. However, it is difficult to achieve both fidelity and interpretability in the same representation. We propose DualSDF, a representation expressing shapes at two levels of granularity, one capturing fine details and the other representing an abstracted proxy shape using simple and semantically consistent shape primitives. To achieve a tight coupling between the two representations, we use a variational objective over a shared latent space. Our two-level model gives rise to a new shape manipulation technique in which a user can interactively manipulate the coarse proxy shape and see the changes instantly mirrored in the high-resolution shape. Moreover, our model actively augments and guides the manipulation towards producing semantically meaningful shapes, making complex manipulations possible with minimal user input.

연구 동기 및 목표

• 3D 형상 표현에서 높은 기하 정밀도와 해석 가능성 동시 달성에 도전한다.
• 3D 형상 모델링에서 고해상도 세부 사항과 의미적, 부기반 이해 간 격차를 메운다.
• 세분화된 기하 구조에 영향을 주는 거친 프록시 표현을 통해 직관적이고 인터랙티브한 형상 조작을 가능하게 한다.
• 편집 중 형상 일관성과 의미적 의미를 유지하기 위해 거친 표현과 세련된 표현 간의 밀접한 결합을 확보한다.
• 변동형 오토디코더와 SDF를 활용해 3D 형상의 생성, 편집, 보간을 지원하는 통합 프레임워크를 개발한다.

제안 방법

• 간단한 기하 원소(예: 구, 캡슐 등)로 구성된 거친 수준의 프록시를 사용해 형상을 표현하며, SDF 수식을 적용한다.
• 깊이 신경망을 통해 공유된 잠재 코드에서 SDF 값을 예측함으로써 고해상도 기하를 모델링한다.
• 단일 코드 벡터가 거친 표현과 세련된 표현 모두를 디코딩할 수 있도록 변동형 오토디코더(VAD)를 사용해 공유된 잠재 공간을 학습한다.
• 보간, 최적화, 생성을 위한 정규화를 위해 잠재 공간을 규제하는 변동형 목표를 통해 표현 간 결합을 강제한다.
• 최적화 기반 조작을 통해 구현: 사용자가 원소 속성(예: 위치, 반지름)을 편집하면, 이에 대응하는 잠재 코드가 변화하며 가능성이 높은 형상의 다양체 위에 머물게 된다.
• 두 수준 모두에 SDF를 통합된 기반으로 활용해 효율적인 렌더링, 미분 가능한 연산, 일관된 기하 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이중 수준 3D 형상 표현이 동시에 높은 기하 정밀도와 의미적 해석 가능성 달성할 수 있는가?
• RQ2 거친 수준의 형상 편집이 고해상도 기하로 효과적이고 의미적으로 전파될 수 있는가?
• RQ3 공유된 변동형 잠재 공간이 다양한 형상에 걸쳐 거친 표현과 세련된 표현 간의 밀접한 결합을 어느 정도 보장하는가?
• RQ4 원소 공간에서 최적화 기반 조작이 고해상도 출력에서 현실적이며 의미적으로 일관된 변화를 이끌 수 있는가?
• RQ5 학습된 원소의 의미 일관성은 형상 컬렉션 전반에서 정량적으로 측정하고 검증할 수 있는가?

주요 결과

• 변동형 오토디코딩을 통해 학습된 공유 잠재 공간은 표준 오토에코더나 오토디코더보다 거친 표현과 세련된 표현 간의 결합을 더 견고하게 보장한다.
• 사용자는 원소 속성(예: 반지름, 위치)을 편집함으로써 거친 프록시 형상을 인터랙티브하게 조작할 수 있으며, 변화가 즉각적으로 의미 일관성을 유지하는 고해상도 SDF에 반영된다.
• 모델은 다양한 형상에서 높은 의미 일관성을 달성한다: 예를 들어 의자 카테고리에서는 다리가 일관되게 '다리'로 레이블링되며, 상위 레이블과 일치하는 원소 비율이 85.7%이며, 상위 3개 레이블과 일치하는 비율은 94.3%이다.
• 원소 속성에 직접 최적화함으로써 제어 가능한 보간이 가능해지며, 예를 들어 의자 높이만 조정하는 등의 선택적 변화가 가능하고 다른 형상 특성은 유지된다.
• 이중 수준 표현은 고속의 거친 모델을 사용해 형상 공간을 실시간으로 탐색할 수 있으며, 고해상도 렌더링은 필요에 따라 제공된다.
• 새로운 지표인 상호 표현 일관성과 원소 기반 의미 일관성은 두 표현 간의 높은 일치도와 다양한 형상에서 원소가 일관된 의미 역할을 유지함을 입증한다.