[논문 리뷰] SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes

Xu Chen, Yufeng Zheng외 3명|arXiv (Cornell University)|2021. 01. 01.

3D Shape Modeling and Analysis참고 문헌 59인용 수 13

한 줄 요약

SNARF는 감독 없이 포즈에 종속되지 않는 스케일링 가중치 필드와 캐논리컬 형태를 포즈가 있는 메ッシュ에서 학습함으로써 신경 암묵 3D 형태를 위한 미분 가능한 프론트워드 스케일링 프레임워크를 제안한다. 반복적 루트 찾기와 암묵적 미분을 사용함으로써, 높은 정밀도의 포즈에 따라 변형되는 변형을 가지며 예측되지 않은 포즈로의 일반화를 가능하게 하여 재구성 정확도와 강건성 면에서 최신 기술을 초월한다. 특히 분포 이탈 상황에서 뛰어난 성능을 보인다.

ABSTRACT

Neural implicit surface representations have emerged as a promising paradigm to capture 3D shapes in a continuous and resolution-independent manner. However, adapting them to articulated shapes is non-trivial. Existing approaches learn a backward warp field that maps deformed to canonical points. However, this is problematic since the backward warp field is pose dependent and thus requires large amounts of data to learn. To address this, we introduce SNARF, which combines the advantages of linear blend skinning (LBS) for polygonal meshes with those of neural implicit surfaces by learning a forward deformation field without direct supervision. This deformation field is defined in canonical, pose-independent space, allowing for generalization to unseen poses. Learning the deformation field from posed meshes alone is challenging since the correspondences of deformed points are defined implicitly and may not be unique under changes of topology. We propose a forward skinning model that finds all canonical correspondences of any deformed point using iterative root finding. We derive analytical gradients via implicit differentiation, enabling end-to-end training from 3D meshes with bone transformations. Compared to state-of-the-art neural implicit representations, our approach generalizes better to unseen poses while preserving accuracy. We demonstrate our method in challenging scenarios on (clothed) 3D humans in diverse and unseen poses.

연구 동기 및 목표

• 신경 암묵 표현에서의 백워드 변형 필드의 한계를 해결하기 위해, 포즈에 종속되고 예측되지 않은 포즈로의 일반화가 떨어지는 문제를 해결한다.
• 사전 정의된 스케일링 가중치나 부분 대응이 필요 없이, 3D 포즈 메시에서 캐논리컬, 포즈에 종속되지 않는 스케일링 가중치 필드와 신경 암묵 형태를 학습한다.
• 관절 구조를 가진 3D 형태, 특히 옷을 입은 인간을 포함한 임의의 포즈에서 고정밀도, 연속적이고 토폴로지에 유연한 애니메이션을 가능하게 한다.
• 암묵적 미분을 통한 분석적 기울기를 얻는 미분 가능한 프론트워드 스케일링을 통해 엔드 투 엔드 훈련을 달성한다.

제안 방법

• 다중 잠재 캐논리컬 대응을 해결하기 위해 반복적 루트 찾기를 사용하여 변형된 공간의 점들을 캐논리컬 공간으로 매핑하는 프론트워드 스케일링 모델을 제안한다.
• 캐논리컬 공간에서 포즈에 종속되지 않고 일반화 가능한 밀도 높은 연속적인 스케일링 가중치 필드를 학습한다.
• 암묵적 미분을 사용하여 프론트워드 스케일링 모듈의 분석적 기울기를 유도함으로써, 3D 메시 관측치로부터 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 의복 주름이나 연조직 이동과 같은 비선형 포즈에 따라 변형되는 변형을 포착하기 위해 신경 암묵 형태 함수를 포즈 임베딩에 조건화한다.
• 지식 기반 스케일링 가중치나 부분 레이블이 필요 없이, 밀폐된 3D 메시 시퀀스와 해당 뼈대 변환을 함께 훈련한다.
• 프론트워드 스케일링과 신경 암묵 함수를 통해 역전파가 가능한 미분 가능한 渲染 및 최적화 파이프라인을 활용하여 형태와 스케일링 가중치를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 스케일링 가중치나 대응에 대한 감독 없이, 3D 포즈 메시에서만 엔드 투 엔드로 미분 가능한 프론트워드 스케일링 모델을 훈련시킬 수 있는가?
• RQ2 토폴로지 변화가 발생하는 상황에서, 변형된 점에 대한 다중 캐논리컬 대응을 일관되게 찾을 수 있는가? 이는 강력한 변형 학습을 가능하게 한다.
• RQ3 포즈에 종속되지 않는 스케일링 필드가 예측되지 않은 포즈로 일반화되면서도 신경 암묵 표면의 세밀한 기하학적 세부 정보를 유지할 수 있는가?
• RQ4 분포 이탈 상황에서 프론트워드 스케일링은 백워드 변형 필드에 비해 일반화 능력과 재구성 품질 면에서 어떻게 비교되는가?
• RQ5 메시와 뼈대 데이터만으로도 옷의 역학적 움직임과 같은 현실적인 비선형 변형을 효과적으로 애니메이션할 수 있는가?

주요 결과

• SNARF는 최소한의 옷을 입은 인간 벤치마크에서 최신 기술을 초월하며, 근접 표면 점에서 평균 IoU 기준 4.6% 향상된 성능을 기록했다.
• 예측되지 않은 포즈에서 SNARF는 NASA 대비 근접 표면 IoU에서 20.4% 향상된 높은 재구성 품질을 유지하여 점진적인 성능 저하를 보였다.
• 메서드는 극단적인 분포 이탈 포즈에서도 주름이나 관절 변형과 같은 세밀한 기하학적 세부 정보를 가진 현실적인 연속적인 형태를 생성한다.
• 정성적 결과에서는 SNARF가 올바른 신체 포즈와 자연스러운 옷의 변형을 생성하는 반면, 기준 모델들은 불연속성, 부족한 부분, 왜곡된 몸체 등의 아티팩트를 보였다.
• 학습된 스케일링 가중치는 신체 부위 간에 매끄러운 전이를 보이며, 감독 없이도 정확한 해부학적 할당을 반영한다.
• 캐논리컬 형태는 히트맵으로 시각화된 바와 같이 캐논리컬 포즈에서의 변형 차이를 학습함으로써 포즈에 따라 수정 가능한 보정을 제공하며, 비선형 형태 적응을 가능하게 한다.