[논문 리뷰] Geometry-Consistent Neural Shape Representation with Implicit Displacement Fields

Yifan Wang, Lukas Rahmann외 1명|arXiv (Cornell University)|2021. 06. 09.

3D Shape Modeling and Analysis참고 문헌 54인용 수 23

한 줄 요약

이 논문은 3D 기하 구조를 저주파수 기저 서피스 거리 함수와 고주파수 이격 필드 오프셋으로 분해하는 새로운 신경 암시적 표현인 암시적 이격 필드(implicit displacement fields, IDF)를 소개한다. 주어진 표면 법선을 따라 이격되는 이격 필드는 주어진 SIREN 기반 아키텍처와 주파수 계층 구조 및 이식 가능한 특징을 위한 인덕티브 바이어스를 통해 구현되며, 이는 비지도 기하 분리, 뛰어난 세부 사항 표현, 훈련 안정성 및 3D 재구성 및 세부 사항 이식 작업에서의 일반화 능력을 가능하게 한다.

ABSTRACT

We present implicit displacement fields, a novel representation for detailed 3D geometry. Inspired by a classic surface deformation technique, displacement mapping, our method represents a complex surface as a smooth base surface plus a displacement along the base's normal directions, resulting in a frequency-based shape decomposition, where the high frequency signal is constrained geometrically by the low frequency signal. Importantly, this disentanglement is unsupervised thanks to a tailored architectural design that has an innate frequency hierarchy by construction. We explore implicit displacement field surface reconstruction and detail transfer and demonstrate superior representational power, training stability and generalizability.

연구 동기 및 목표

• 안정적이고 효율적인 훈련을 통해 신경 암시적 3D 형상에서 고주파수 기하 세부 정보를 표현하는 데 도전하는 것.
• 아키텍처 설계를 통해 주파수 계층을 임베딩함으로써 기하 주파수 성분의 비지도 분리 가능성을 제공하는 것.
• 기존의 이격 매핑 기법을 이산적인 것에서 연속적인 암시적 표현으로 3D 공간으로 확장하는 것.
• 학습 가능한 이식 가능한 이격 필드를 통해 형상 간 기하 세부 정보 이식을 가능하게 하는 것.
• 3D 재구성 및 형상 모델링 작업에서 일반화 능력과 표현력 향상을 도모하는 것.

제안 방법

• 이 방법은 3D 형상을 기저 SDF(부호 거리 함수)와 표면 법선 방향으로 기저 표면을 이격시키는 이격 필드로 표현한다.
• 기저 및 이격 필드에 SIREN 기반 신경망 아키텍처를 사용하여 인덕티브 바이어스를 통해 자연스러운 주파수 계층을 임베딩한다.
• 쿼리 특징 추출기와 매핑 네트워크(FiLM 조건부)를 사용하여 이식 가능한 특징을 구성함으로써 다양한 형상 간 세부 정보 이식을 가능하게 한다.
• 이격 필드는 R³ 상에서 암시적으로 정의되며, 고주파수 세부 정보의 연속적이고 해상도 독립적인 표현을 가능하게 한다.
• 기저 및 이격 네트워크를 공동 최적화하여 훈련하며, 기저 네트워크는 저주파수 SIREN으로 초기화되고 이격 훈련 기간 동안 고정된다.
• 이 프레임워크는 두 가지 시나리오를 지원한다: 알려진 기저 형상을 이용한 세부 정보 이식, 그리고 단지 세부 정보가 포함된 형상에서 기저 및 이격 필드를 함께 추정하는 것.

실험 결과

연구 질문

• RQ1 아키텍처 설계를 통해 신경 암시적 표현이 기하 주파수 성분을 비지도로 분리할 수 있는가?
• RQ2 위치 인코딩 및 SIREN 기반 베이스라인과 비교했을 때 암시적 이격 필드 표현은 고주파수 3D 기하 구조 재구성에서 어떻게 성능을 냈는가?
• RQ3 다른 형상 간에 명시적 대응 관계 없이도 이격 필드를 이식 가능하게 만들 수 있는가?
• RQ4 주파수 계층 설계는 신경 암시적 3D 모델링에서 훈련 안정성과 수렴을 향상시키는가?
• RQ5 원천 형상에서 목표 형상로 기하 세부 정보를 이식할 때, 이론적으로 새로운 형상으로 일반화가 가능한가?

주요 결과

• 제안된 IDF 표현은 SIREN 및 위치 인코딩 기반 베이스라인보다 고주파수 영역에서 훨씬 뛰어난 기하 세부 정보 재구성 성능을 달성한다.
• IDF로 훈련하면 일반적인 최적화 문제인 국소 최소값과 과적합을 피하는 등 훨씬 뛰어난 안정성과 수렴 성능을 보였다.
• 기저 형상이 제공되지 않더라도 기저 및 이격 필드를 함께 추정함으로써 형상 간 성공적인 세부 정보 이식이 가능하다.
• 매핑 네트워크나 쿼리 특징 추출기를 제거하면 특징 왜곡이 발생함으로써, 정확한 세부 정보 이식을 위해 이들의 필요성이 입증되었다.
• 이격 필드 입력의 스케일링이 매우 중요하다 — 스케일링이 없는 특징을 사용할 경우 경계 아티팩트가 발생함으로써 적절한 특징 정규화의 중요성을 강조한다.
• 이식 가능한 IDF 모델은 눈썹과 같은 공간적으로 변형된 기하 세부 정보(예: 얼굴 특징)를 성공적으로 이식하였으며, 등급이 일정한 공간적 불변 세부 정보만 처리할 수 있는 DGTS와 같은 기존 방법보다 뛰어난 성능을 보였다.