[논문 리뷰] PBNS: Physically Based Neural Simulator for Unsupervised Garment Pose Space Deformation

Hugo Bertiche, Meysam Madadi외 1명|arXiv (Cornell University)|2020. 12. 21.

3D Shape Modeling and Analysis인용 수 11

한 줄 요약

이 논문은 깊이 학습 기반의 비지도 학습 신경 시뮬레이터 PBNS를 제안하며, 문제를 암묵적인 물리 기반 시뮬레이션으로 공식화하여, 뼈대가 있는 의복에 대해 물리적으로 일관된 포즈 스페이스 디포메이션(PSD)을 학습한다. 이 방법은 몇 분 내로 학습이 끝나며, 후처리 없이 충돌이 없는 포즈에 따라 변형되는 주름을 생성하고 실시간 성능(GPU에서 14,000 FPS 이상)을 달성하여, 표준 LBS 파이프라인과 호환되는 효율적이고 확장 가능한 3D 의복 애니메이션을 가능하게 한다.

ABSTRACT

We present a methodology to automatically obtain Pose Space Deformation (PSD) basis for rigged garments through deep learning. Classical approaches rely on Physically Based Simulations (PBS) to animate clothes. These are general solutions that, given a sufficiently fine-grained discretization of space and time, can achieve highly realistic results. However, they are computationally expensive and any scene modification prompts the need of re-simulation. Linear Blend Skinning (LBS) with PSD offers a lightweight alternative to PBS, though, it needs huge volumes of data to learn proper PSD. We propose using deep learning, formulated as an implicit PBS, to unsupervisedly learn realistic cloth Pose Space Deformations in a constrained scenario: dressed humans. Furthermore, we show it is possible to train these models in an amount of time comparable to a PBS of a few sequences. To the best of our knowledge, we are the first to propose a neural simulator for cloth. While deep-based approaches in the domain are becoming a trend, these are data-hungry models. Moreover, authors often propose complex formulations to better learn wrinkles from PBS data. Supervised learning leads to physically inconsistent predictions that require collision solving to be used. Also, dependency on PBS data limits the scalability of these solutions, while their formulation hinders its applicability and compatibility. By proposing an unsupervised methodology to learn PSD for LBS models (3D animation standard), we overcome both of these drawbacks. Results obtained show cloth-consistency in the animated garments and meaningful pose-dependant folds and wrinkles. Our solution is extremely efficient, handles multiple layers of cloth, allows unsupervised outfit resizing and can be easily applied to any custom 3D avatar.

연구 동기 및 목표

• 기존의 물리 기반 시뮬레이션(PBS) 및 지도 학습 기반 딥 러닝 접근법이 3D 의복 애니메이션에서 높은 계산 비용과 데이터 의존성 문제를 해결하기 위해.
• PBS 시뮬레이션 또는 4D 스캔 데이터가 필요 없이, 뼈대가 있는 의복에 대해 비지도 학습을 통해 포즈 스페이스 디포메이션(PSD)을 학습하기 위해.
• 표준 LBS 애니메이션 파이프라인과 호환되는 물리적으로 일관되고 충돌이 없는 옷의 변형을 개발하기 위해.
• 학습 시간과 계산 요구 사항을 크게 줄여 다양한 아바타와 의복에 대해 빠른 배포를 가능하게 하기 위해.
• 가상현실/증강현실 및 실시간 애플리케이션에서 복잡한 다중 층 의복의 확장 가능하고 효율적이며 실시간 애니메이션을 지원하기 위해.

제안 방법

• 깊이 신경망을 사용하여 물리 기반 에너지 함수를 최소화하는 방식으로 옷의 변형 예측 문제를 암묵적인 물리 기반 시뮬레이션(PBS)으로 공식화하기.
• 물리적 일관성(예: 낮은 에너지 상태 및 충돌 회피)을 강제하는 손실 함수를 최소화하여 비지도 방식으로 네트워크를 학습하기.
• 포즈 파라미터에서 직접 PSD 블렌드 샤프를 예측하기 위해 소형 경량 MLP를 사용하여 표준 LBS 애니메이션 시스템과의 호환성을 확보하기.
• 의복 역학을 암묵적으로 코딩하는 미분 가능 물리 공식을 활용하여 명시적 시뮬레이션 또는 후처리가 필요 없도록 하기.
• Adam 옵timizer를 사용하여 2,550개의 신체 포즈 서브셋에서 학습하며, CPU에서도 에포크당 1~2분 내외로 학습 시간이 짧아 반복 및 배포가 빠르게 가능하다.
• 학습된 모델을 실시간 추론에 배포하여 CPU 및 GPU 모두에서 고속 애니메이션을 구현하기.

실험 결과

연구 질문

• RQ1 대규모 PBS 또는 스캔 데이터에 의존하지 않고도 딥 러닝 모델이 현실적이고 물리적으로 일관된 의복 변형을 학습할 수 있는가?
• RQ2 암묵적인 PBS 공식을 통한 비지도 학습이 후처리 없이 충돌이 없고 포즈에 따라 변형되는 주름을 생성할 수 있는가?
• RQ3 GPU 없이도 학습 시간이 몇 분 내로 끝나며, 높은 정확도와 효율성을 유지할 수 있는가?
• RQ4 제안된 방법이 비디오 게임 및 VR/AR와 같은 실시간 애플리케이션에 효율적으로 배포되고 다양한 아바타와 의복에 대해 확장 가능한가?
• RQ5 학습된 PSD의 성능와 물리적 일관성은 기존의 지도 학습 기반 딥 러닝 및 PBS 방법과 비교해 어떻게 다른가?

주요 결과

• PBNS 모델은 12,000개의 정점이 있는 의복에 대해 배치 추론에서 GPU에서 14,000 FPS 이상, CPU에서 1,235 FPS를 달성하여 기존 PBS 및 딥 러닝 방법을 크게 능가한다.
• GTX1080Ti에서 에포크당 1~2분, GPU 없이도 2~4분 내로 학습이 가능하여 반복 및 배포가 매우 빠르게 이루어진다.
• 후처리 없이 물리적으로 일관되고 충돌이 없는 의복을 생성하여 실시간 사용에 적합함을 보장한다.
• 다양한 신체 형태로 일반화 가능하며, 어떤 3D 아바타에도 적용 가능하며, 비지도 옷 크기 조정 및 다중 층 의복 시뮬레이션을 지원한다.
• 미사용된 포즈 시퀀스에서도 의미 있는 포즈에 따른 주름과 시간적 일관성이 유지되며, 정성적 성능이 PBS의 현실성과 유사하다.
• 표준 LBS 파이프라인과 완전히 호환되어 기존 3D 애니메이션 소프트웨어 및 게임 엔진에 원활하게 통합될 수 있다.