[논문 리뷰] Augmenting Implicit Neural Shape Representations with Explicit Deformation Fields

Matan Atzmon, David Novotný외 2명|arXiv (Cornell University)|2021. 08. 19.

3D Shape Modeling and Analysis참고 문헌 46인용 수 7

한 줄 요약

이 논문은 암시적 신경형 모양 표현을 개선하기 위해 암시적 조각별 선형 변형 필드를 통합하여 잠재 공간 내에서 타당한 모양 변형을 정규화하는 프레임워크를 제안한다. 이러한 변형 필드에 대해 가능한 한 강체에 가까운 에너지를 최소화함으로써, 이 방법은 아티팩트가 줄어든 보다 우수한 보간 품질을 달성하며, 희소 데이터에서 재구성 및 보간된 3D 모양에서 자연스럽고 관절 운동을 포함한 부드러운 모양 전이를 가능하게 한다.

ABSTRACT

Implicit neural representation is a recent approach to learn shape collections as zero level-sets of neural networks, where each shape is represented by a latent code. So far, the focus has been shape reconstruction, while shape generalization was mostly left to generic encoder-decoder or auto-decoder regularization. In this paper we advocate deformation-aware regularization for implicit neural representations, aiming at producing plausible deformations as latent code changes. The challenge is that implicit representations do not capture correspondences between different shapes, which makes it difficult to represent and regularize their deformations. Thus, we propose to pair the implicit representation of the shapes with an explicit, piecewise linear deformation field, learned as an auxiliary function. We demonstrate that, by regularizing these deformation fields, we can encourage the implicit neural representation to induce natural deformations in the learned shape space, such as as-rigid-as-possible deformations.

연구 동기 및 목표

• 잠재 코드 보간 중 타당한 변형을 생성하는 데에 암시적 신경형 모양 표현의 한계를 해결하기 위해.
• 암시적 표현에서 모양 간 점 대응의 부재로 인해 표준 기하 정규화가 어려운 문제를 해결하기 위해.
• 특히 원시 D-Faust 스캔과 같이 희소하거나 균일하게 샘플링되지 않은 데이터에 대해 암시적 신경형 모양 공간의 일반화 성능을 향상시키기 위해.
• 잠재 공간에 변형 사전 지식을 통합하여 자연스럽고 물리적으로 타당한 모양 변형(예: 관절 운동)을 가능하게 하기 위해.
• 명시적 변형 필드가 암시적 신경함수를 정규화하는 보조 함수로 학습될 수 있음을 입증하고, 재구성 및 보간 정밀도를 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 잠재 코드의 무한소 변화에 따라 3D 공간 내 점이 어떻게 움직이는지를 모델링하는 보조 함수로 명시적 조각별 선형 변형 필드를 도입한다.
• 변형 필드는 잠재 코드에 대한 암시적 신경함수의 미분을 통해 유도되며, 수준집합 진화와 일관성을 확보한다.
• 가능한 한 강체에 가까운(ARAP) 에너지를 기반으로 한 기하 정규화 손실이 변형 필드에 적용되어 조각별 강체 또는 탄성 운동을 장려한다.
• 변형 필드는 훈련 중에 암시적 신경함수와 함께 공동으로 최적화되어, 잠재 코드 전이가 타당한 변형을 유도하는 모양 공간을 학습할 수 있도록 한다.
• 이 프레임워크는 일반적이며, ARAP에 국한되지 않고 어떤 명시적 변형 필드로도 표현 가능한 변형 사전 지식을 통합할 수 있다.
• 방법은 D-Faust 데이터셋에서 재구성에 대해 Chamfer 및 Wasserstein 거리, 보간 품질에 대해 히스토그램 기반 지표를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 명시적 변형 필드를 사용하여 암시적 신경형 모양 표현을 정규화하여 더 타당한 모양 보간을 달성할 수 있는가?
• RQ2 가능한 한 강체에 가까운 변형 사전 지식을 통합할 경우, 표준 VAE나 오토디코더 정규화 기법과 비교해 보간된 3D 모양의 품질은 어떻게 향상되는가?
• RQ3 변형 인식 정규화가 D-Faust 원시 스캔과 같이 희소하고 균일하지 않은 샘플링된 3D 스캔에 대해 일반화 성능을 얼마나 향상시킬 수 있는가?
• RQ4 명시적 변형 필드 통합이 훈련 세트에 포함되지 않은 새로운 자세나 동작에 대해 재구성 정확도를 향상시키는가?
• RQ5 변형 필드 학습 과정이 인간 신체의 자연스러운 운동학적 구조를 잠재 공간에서 포착할 수 있는가?

주요 결과

• D-Faust 데이터셋에서 제안된 방법은 기준선 VAE 및 오토디코더 모델보다 훨씬 우수한 성능을 보이며, 새로운 자세를 재구성할 때 더 낮은 Chamfer 및 Wasserstein 거리를 기록한다.
• 보간 중에 부분이 나타나거나 사라지는 아티팩트가 감소하여 자세 간 전이가 더 부드럽고 자연스럽게 구현된다.
• 잠재 코드의 나선형 보간에서 변형 사전 지식을 통합한 경우, 표면 성질 히스토그램의 더 낮은 Wasserstein 거리로 인해 선형 보간보다 더 우수한 결과를 얻는다.
• 여성 주제 분할에서, 방법은 HKS at t_mean 기준으로 Wasserstein 거리 0.836, 지오데식 기준으로 0.836을 기록했으며, AD 기준선 대비 1.203보다 우수한 성능을 보였다. 이는 형태 구조의 보존이 향상되었음을 시사한다.
• 학습된 변형 필드는 인간 신체의 자연스러운 운동학적 구조와 일치하는 확률 벡터를 생성한다. 이는 그림 5에서 시각화되었으며, 방법이 해부학적 타당성을 잘 포착하고 있음을 확인한다.
• 형태 공간 보간에서, 방법은 사지 및 얼굴 기능(예: 그림 7의 빨간 상자 영역)에서 기하학적 일관성을 유지하여 기존 기준선에서 흔히 발생하는 왜곡을 방지한다.