[논문 리뷰] SimulCap : Single-View Human Performance Capture with Cloth Simulation

Tao Yu, Zerong Zheng외 5명|arXiv (Cornell University)|2019. 03. 15.

3D Shape Modeling and Analysis참고 문헌 70인용 수 9

한 줄 요약

SimulCap는 단일 뷰 RGBD 기반의 인간 성능 캡처 시스템을 제안하며, 신체와 옷을 다층 표면 표현으로 분리하고 물리 기반의 옷 모의 시뮬레이션과 반복적 깊이 피팅을 통해 가시 영역을 초월해 현실적이고 동적인 옷의 변형, 특히 가림 영역까지 재구성한다. 이는 VR/AR 및 가상 피팅 응용 분야에서 고해상도, 물리적으로 타당하고 애니메이션 가능한 아바타를 가능하게 한다.

ABSTRACT

This paper proposes a new method for live free-viewpoint human performance capture with dynamic details (e.g., cloth wrinkles) using a single RGBD camera. Our main contributions are: (i) a multi-layer representation of garments and body, and (ii) a physics-based performance capture procedure. We first digitize the performer using multi-layer surface representation, which includes the undressed body surface and separate clothing meshes. For performance capture, we perform skeleton tracking, cloth simulation, and iterative depth fitting sequentially for the incoming frame. By incorporating cloth simulation into the performance capture pipeline, we can simulate plausible cloth dynamics and cloth-body interactions even in the occluded regions, which was not possible in previous capture methods. Moreover, by formulating depth fitting as a physical process, our system produces cloth tracking results consistent with the depth observation while still maintaining physical constraints. Results and evaluations show the effectiveness of our method. Our method also enables new types of applications such as cloth retargeting, free-viewpoint video rendering and animations.

연구 동기 및 목표

• 기존 방법에서 단일 표면 재구성의 한계를 해결하여 옷-신체 상호작용과 동적인 주름을 포착하지 못하는 문제를 해결한다.
• 단일 뷰 설정에서 이전 방법들이 가림 영역에서 물리적으로 타당한 옷의 동적 움직임을 재구성하지 못하는 문제를 극복한다.
• 신체와 옷 표현을 분리함으로써 편집 가능하고 애니메이션 가능하며 물리적으로 일관된 아바타를 가능하게 한다.
• 물리 기반 시뮬레이션과 깊이 관측치 피팅을 통합하여 재구성 정확도와 현실감을 향상시킨다.
• 의미 있는 다층 아바타 구조를 통해 옷 리타겟팅과 자유 시점 렌더링와 같은 새로운 응용 분야를 지원한다.

제안 방법

• 단일 회전 스캔에서 자동으로 벗은 신체와 각 옷에 대한 별도의 메쉬를 추출하여 다층 표면 표현을 구축한다.
• 벗은 신체에 대해 스켈레톤 추적을 수행하여 이후 옷 모의 시뮬레이션에 현실적인 뼈대 운동을 구동한다.
• 추적된 신체 위에 물리 기반의 옷 모의 시뮬레이션을 적용하여 현실적인 동적 변형과 상호작용을 생성한다.
• 깊이 피팅을 물리적 과정으로 공식화하여 관측된 깊이 데이터와의 일관성을 유지하면서 물리적 제약 조건도 유지한다.
• 반복적 깊이 피팅을 통해 옷 메쉬의 위치를 정밀하게 보정하여 입력 깊이 관측치와의 정렬을 향상시키고 피팅 오차를 감소시킨다.
• 층위 구조를 활용하여 신체 형태와 자세가 다른 주체 간에 옷을 전달함으로써 옷 리타겟팅을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 뷰 RGBD 시스템은 보이지 않는 영역까지 주름과 가림 영역을 포함한 현실적이고 동적인 옷의 변형을 재구성할 수 있는가?
• RQ2 물리 기반의 옷 모의 시뮬레이션은 표준 스카이닝 또는 워핑 방법에 비해 캡처된 옷의 현실감과 물리적 타당성을 향상시킬 수 있는가?
• RQ3 물리적 제약 조건을 통합한 반복적 깊이 피팅은 표준 데이터 피팅에 비해 더 정확하고 일관된 옷 추적을 가능하게 하는가?
• RQ4 다층 아바타 표현은 옷 리타겟팅과 자유 시점 렌더링와 같은 새로운 응용 분야를 가능하게 하는가?
• RQ5 신체와 옷 추적을 분리함으로써 층위 형성과 슽핑과 같은 복잡한 옷-신체 상호작용을 어떻게 향상시킬 수 있는가?

주요 결과

• SimulCap는 기존 기준 방법에 비해 특히 이전 방법이 실패하는 가림 영역에서 더 현실적인 옷의 동적 움직임과 주름 세부 정보를 달성한다.
• 반복적 깊이 피팅 과정은 깊이 피팅 오차를 감소시키고 관측된 깊이 데이터와의 정렬을 향상시키며, 그 정량적 결과는 그림 11에 제시되어 있다.
• 두 번째 RGBD 카메라로 가림 쪽을 캡처함으로써 검증된 바와 같이, 시스템은 보이지 않는 영역에서도 타당한 옷의 운동을 성공적으로 재구성하여 정확한 환영(홀로그래피)을 구현한다.
• 이전 방법에서 흔히 발생하던 아티팩트—예를 들어 잘못된 표면 융합과 겨드랑이 부근의 매끄러운 왜곡—은 층위 구조와 물리 기반 접근 덕분에 제거된다.
• 옷 리타겟팅이 성공적으로 구현되었으며, 다양한 신체 형태와 자세를 가진 주체 간에 옷을 전달하면서도 동적 현실감을 유지한다.
• 이 방법은 고품질의 자유 시점 영상 렌더링을 가능하게 하며, 현실적이고 동적인 조명 및 애니메이션을 위한 3D 엔진 통합도 지원한다.