[논문 리뷰] Example-based Real-time Clothing Synthesis for Virtual Agents

Nannan Wu, Qianwen Chao외 8명|arXiv (Cornell University)|2021. 01. 08.

3D Shape Modeling and Analysis참고 문헌 70인용 수 5

한 줄 요약

이 논문은 다양한 신체 형태와 자세를 가진 가상 에이전트에 옷을 실시간으로 애니메이션하는 데이터 기반 방법을 제시한다. 옷의 변형을 자세에 의존하는 요소와 신체 형태에 의존하는 요소로 분해하고, 사전에 계산된 기준점 주변에서 타일러 전개를 적용함으로써, 옷의 크기를 조정하지 않으면서도 상호작용 수준의 성능(CPU에서 50+ FPS)을 달성하여 가상현실 환경에서의 현실성과 사용자 인식을 크게 향상시킨다.

ABSTRACT

We present a real-time cloth animation method for dressing virtual humans of various shapes and poses. Our approach formulates the clothing deformation as a high-dimensional function of body shape parameters and pose parameters. In order to accelerate the computation, our formulation factorizes the clothing deformation into two independent components: the deformation introduced by body pose variation (Clothing Pose Model) and the deformation from body shape variation (Clothing Shape Model). Furthermore, we sample and cluster the poses spanning the entire pose space and use those clusters to efficiently calculate the anchoring points. We also introduce a sensitivity-based distance measurement to both find nearby anchoring points and evaluate their contributions to the final animation. Given a query shape and pose of the virtual agent, we synthesize the resulting clothing deformation by blending the Taylor expansion results of nearby anchoring points. Compared to previous methods, our approach is general and able to add the shape dimension to any clothing pose model. %and therefore it is more general. Furthermore, we can animate clothing represented with tens of thousands of vertices at 50+ FPS on a CPU. Moreover, our example database is more representative and can be generated in parallel, and thereby saves the training time. We also conduct a user evaluation and show that our method can improve a user's perception of dressed virtual agents in an immersive virtual environment compared to a conventional linear blend skinning method.

연구 동기 및 목표

• 다양한 신체 형태와 자세에서 실시간으로 고해상도 옷 애니메이션을 가능하게 하기 위해.
• 옷의 변형을 자세에 의존하는 요소와 신체 형태에 의존하는 요소로 분리하여 확장성 있고 효율적인 계산을 가능하게 하기 위해.
• 현실적인 주름과 처짐 효과를 갖춘 실시간 가상 시도 및 몰입형 가상현실 응용을 지원하기 위해.
• GPU 가속화나 옷의 크기 조정 없이도 일반 CPU에서 고성능을 유지하기 위해.
• 기존 선형 블렌딩 스킨닝 대비 옷을 입힌 가상 에이전트에 대한 사용자 인식을 향상시키기 위해.

제안 방법

• 이 방법은 옷의 변형을 자세 변화를 위한 옷 자세 모델과 신체 형태 변화를 위한 옷 형태 모델로 분해하며, 변형을 이 두 매개변수의 함수로 간주한다.
• 사전 시뮬레이션된 옷 인스턴스에 주성분 분석(PCA)을 적용하여 차원을 감소시키고, 첫 k개 주성분(실험에서 k=5)을 사용해 형태에 의존하는 변형을 모델링한다.
• 감도 기반 거리 측도를 사용해 형태 공간과 자세 공간에서 근접한 기준점들을 식별하여 局소적 근사를 가능하게 한다.
• 각 기준점 주변에서 타일러 전개를 적용하여 변형을 근사하고, 런타임에 새로운 형태와 자세 쿼리에 대해 국소 결과를 혼합한다.
• 데이터 포인트 간 상호 독립성을 활용해 데이터베이스 구축을 병렬화할 수 있어 이전의 MCMC 기반 방법보다 오프라인 효율성이 향상된다.
• LBS 이후에 투과 해결을 적용하지만, 깊은 투과는 부적합한 맞춤으로 간주하여 경고한다.

실험 결과

연구 질문

• RQ1 실시간으로 신체 형태와 자세 매개변수에 따라 옷의 변형을 효율적이고 정확하게 함수로 모델링할 수 있는가?
• RQ2 옷의 변형에서 형태와 자세 의존성을 어떻게 분리하여 확장성 있고 실시간으로 합성할 수 있는가?
• RQ3 고차 도함수를 고비용으로 계산하지 않고도 타일러 전개 기반 국소 근사 기법이 고해상도 결과를 달성할 수 있는가?
• RQ4 기존 선형 블렌딩 스킨닝 대비 몰입형 가상현실 환경에서 이 방법이 사용자 인식을 얼마나 향상시키는가?
• RQ5 이 방법을 옷의 재질이나 무늬와 같은 추가 매개변수를 지원하도록 어떻게 확장할 수 있는가?

주요 결과

• 이 방법은 수천 개의 정점이 있는 옷 메ッシュ에 대해 일반 CPU에서 50 FPS 이상의 실시간 성능를 달성하여 가상현실에서의 상호작용 사용이 가능하다.
• 사용자 평가 결과, 이 방법은 몰입형 환경에서 선형 블렌딩 스킨닝 대비 옷을 입힌 가상 에이전트에 대한 인식을 크게 향상시킨다.
• 감도 기반 기준점 선택 및 혼합 기법 덕분에 계산 비용은 줄이고 주름과 처짐 효과의 높은 시각적 정밀도를 유지한다.
• 기존의 옷 자세 모델에 형태 차원을 추가할 수 있으며, 재학습이나 수정 없이도 일반화 및 재사용성을 향상시킨다.
• 데이터 포인트 간 독립성 덕분에 이전의 샘플링 기법보다 데이터베이스 구축 효율성이 뛰어나지 않아 병렬화가 가능하다.
• 빠른 자세 변화나 매우 조여진 옷을 다루는 데에는 한계가 있지만, 투과 검출을 통해 부적합한 맞춤을 효과적으로 경고함으로써 신체 형태에 맞지 않는 옷임을 시사한다.