[논문 리뷰] SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks

Shunsuke Saito, Jinlong Yang외 2명|arXiv (Cornell University)|2021. 04. 07.

3D Shape Modeling and Analysis참고 문헌 70인용 수 5

한 줄 요약

SCANimate는 템플릿 메esh 정렬 또는 합성 데이터 없이 원시 3D 스캔에서 직접 고해상도의 애니메이션 가능한 옷 입은 인간 아바타(Scanimat)를 약한 지도 학습 프레임워크로 학습한다. 암묵적 스킨닝 필드와 사이클 일관성 있는 포즈 캐논리컬라이제이션을 활용하여 국소적 포즈 조건부 조건을 통해 포즈에 따라 변형되는 옷을 모델링함으로써 최신 기술 대비 뛰어난 현실감과 일반화 성능을 달성한다.

ABSTRACT

We present SCANimate, an end-to-end trainable framework that takes raw 3D scans of a clothed human and turns them into an animatable avatar. These avatars are driven by pose parameters and have realistic clothing that moves and deforms naturally. SCANimate does not rely on a customized mesh template or surface mesh registration. We observe that fitting a parametric 3D body model, like SMPL, to a clothed human scan is tractable while surface registration of the body topology to the scan is often not, because clothing can deviate significantly from the body shape. We also observe that articulated transformations are invertible, resulting in geometric cycle consistency in the posed and unposed shapes. These observations lead us to a weakly supervised learning method that aligns scans into a canonical pose by disentangling articulated deformations without template-based surface registration. Furthermore, to complete missing regions in the aligned scans while modeling pose-dependent deformations, we introduce a locally pose-aware implicit function that learns to complete and model geometry with learned pose correctives. In contrast to commonly used global pose embeddings, our local pose conditioning significantly reduces long-range spurious correlations and improves generalization to unseen poses, especially when training data is limited. Our method can be applied to pose-aware appearance modeling to generate a fully textured avatar. We demonstrate our approach on various clothing types with different amounts of training data, outperforming existing solutions and other variants in terms of fidelity and generality in every setting. The code is available at https://scanimate.is.tue.mpg.de.

연구 동기 및 목표

• 표면 정렬 또는 맞춤 템플릿이 필요 없이 원시 3D 스캔에서부터 끝에서 끝까지 애니메이션 가능한 옷 입은 인간 아바타를 학습할 수 있도록 하는 것.
• 합성 시뮬레이션 데이터에 의존하지 않고 주름과 슬라이딩 효과와 같은 복잡한 현실적인 옷의 변형을 모델링하는 것.
• 전역 포즈 임bedding이 아닌 국소적 포즈 조건부 조건을 통해 학습하여 미리 보지 않은 포즈로의 일반화를 달성하는 것.
• 2D 텍스처 매핑 없이 완전한 텍스처 아바타 생성을 지원하기 위해 암묵적 형상 표현을 외관 모델링으로 확장하는 것.
• 고정된 토폴로지 템플릿에 의존하거나 독립된 부분 모델링으로 인한 아티팩트 문제를 겪는 기존 방법의 한계를 극복하는 것.

제안 방법

• 메쉬 토폴로지 가정 없이 포즈에서 캐논리컬로, 캐논리컬에서 포즈로의 변환을 가능하게 하기 위해 3D 공간에서 연속적인 스킨닝 웨이트를 추정하는 신경 암묵 함수를 사용한다.
• 기하학적 사이클 일관성을 확보하기 위해 정방향 및 역방향 변환 후 원래 스캔을 재구성할 수 있도록 역방향 LBS 함수를 훈련시켜 스킨닝 웨이트 학습을 위한 약한 지도를 제공한다.
• 장거리 임의의 상관관계를 줄이기 위해 국소적 포즈 인식 암묵 함수를 사용하여 누락된 기하학적 구조를 보완하고 포즈에 따라 변형되는 구조를 모델링한다.
• 학습된 암묵적 스킨닝 필드를 사용하여 스캔을 공통 포즈로 캐논리컬라이징함으로써 운동 기반 변형과 형상을 분리한다.
• 신경 텍스처 필드를 예측하여 외관 모델링을 확장함으로써 2D UV 매핑 없이 고해상도의 3D 인식 렌더링을 가능하게 한다.
• 자신의 교차, 구멍, 노이즈가 있는 원시 스캔에서만 훈련하며, 단지 SMPL 포즈 파라미터만을 지도로 사용한다.

실험 결과

연구 질문

• RQ1 표면 템플릿 메쉬에 대한 정렬이 필요 없이 원시 3D 스캔에서 직접 파arametric하고 애니메이션 가능한 옷 입은 인간 아바타를 학습할 수 있는가?
• RQ2 합성 또는 레이블이 부여된 훈련 데이터가 없는 환경에서 정확하고 일관되며 현실적인 옷의 변형을 모델링할 수 있는가?
• RQ3 특히 훈련 데이터가 제한된 경우, 국소적 포즈 조건부 조건이 전역 포즈 임베딩보다 더 나은 성능을 보이며, 새로운 포즈로의 일반화를 달성할 수 있는가?
• RQ4 구조가 불규칙하고 노이즈가 많으며 완전하지 않은 3D 스캔에서 고해상도의 형상 및 외관 복원을 달성하면서도, 옷의 들어올림과 같은 토폴로지 변화를 유지할 수 있는가?
• RQ5 포즈 지도만으로도 기하학적 구조와 텍스처를 모두 학습할 수 있는 완전히 미분 가능한 끝에서 끝까지의 시스템을 훈련시킬 수 있는가?

주요 결과

• SCANimate는 실외 벤치마크에서 평균 형상-메쉬 거리 0.570 mm를 기록하여 CAPE(0.970 mm)와 NASA(1.12 mm)를 능가하며, 더 뛰어난 재구성 정확도를 보여준다.
• 실외 세트에서의 감각적 이미지 품질 점수(Pi)는 0.50을 기록하여 CAPE(0.268)와 NASA(0.432)를 크게 앞서며, 더 뛰어난 시각적 현실감을 입증한다.
• 실외 세트에서의 감각적 볼륨 점수(Pv) 0.50은 SCANimate가 글로벌 일관성을 유지하고 독립된 부분 모델링으로 인한 일반적인 아티팩트를 피하고 있음을 보여준다.
• 외삽 작업에서 SCANimate는 CAPE와 NASA보다 더 나은 일반화 성능을 보이며, 더 적은 아티팩트와 더 일관된 변형 패턴을 유지한다.
• CAPE가 고정된 토폴로지 제약으로 인해 실패하는 데, SCANimate는 자켓의 들어올림과 주름지은 형태와 같은 복잡한 토폴로지 변화가 있는 옷을 성공적으로 모델링한다.
• 외관 모델링 확장 덕분에 2D UV 매핑 없이도 고해상도의 3D 인식 텍스처 예측이 가능해져, Scanimat의 현실적인 렌더링을 가능하게 한다.