[논문 리뷰] DoubleFusion: Real-time Capture of Human Performances with Inner Body Shapes from a Single Depth Sensor

Tao Yu, Zerong Zheng외 6명|arXiv (Cornell University)|2018. 04. 17.

Advanced Vision and Imaging인용 수 28

한 줄 요약

DoubleFusion는 단일 깊이 센서를 사용하여 실시간으로 인간의 동작 캡처 시스템을 제안하며, 이중 레이어 표현을 통해 동시에 세밀한 외부 표면 기하학과 타당성 있는 내부 신체 형태를 재구성한다. 융합된 TSDF 볼륨 내에서 파arametric SMPL 신체 모델을 사용하여 자세와 변형을 동시에 최적화함으로써, 특히 빠른 동작 중에도 강인한 추적과 향상된 루프 클로징을 달성하며, 이전 방법들보다 정확도와 완전성 면에서 뛰어나다.

ABSTRACT

We propose DoubleFusion, a new real-time system that combines volumetric dynamic reconstruction with data-driven template fitting to simultaneously reconstruct detailed geometry, non-rigid motion and the inner human body shape from a single depth camera. One of the key contributions of this method is a double layer representation consisting of a complete parametric body shape inside, and a gradually fused outer surface layer. A pre-defined node graph on the body surface parameterizes the non-rigid deformations near the body, and a free-form dynamically changing graph parameterizes the outer surface layer far from the body, which allows more general reconstruction. We further propose a joint motion tracking method based on the double layer representation to enable robust and fast motion tracking performance. Moreover, the inner body shape is optimized online and forced to fit inside the outer surface layer. Overall, our method enables increasingly denoised, detailed and complete surface reconstructions, fast motion tracking performance and plausible inner body shape reconstruction in real-time. In particular, experiments show improved fast motion tracking and loop closure performance on more challenging scenarios.

연구 동기 및 목표

• 단일 깊이 카메라를 사용하여 외부 옷차림 기하학과 내부 신체 형태를 실시간으로 재구성하는 것을 목적으로 한다.
• 빠른 동작과 불완전한 표면 관측을 다루는 데 어려움을 겪는 이전의 단일 시야 시스템의 한계를 극복하는 것.
• 신체 형태와 변형 가능한 표면 사전 지식을 활용하여 자세 추적의 강인성과 루프 클로징을 향상시키는 것.
• 사전 스캔된 템플릿이나 복잡한 다중 카메라 설정이 필요 없도록 하는 것.

제안 방법

• 내부에는 파arametric SMPL 신체 모델, 외부에는 동적으로 융합된 TSDF 표면 레이어로 구성된 이중 레이어 표면 표현을 도입한다.
• 신체 근처와 멀리 떨어진 곳의 비정적 변형을 각각 신체 상단 노드와 원거리 노드로 파arameter화하는 이중 노드 그래프를 활용한다.
• 내부 신체와 외부 표면 양쪽의 대응 관계를 이용하여 자세와 변형을 동시에 최적화함으로써 공동의 운동 추적을 수행한다.
• 명시적인 대응 관계 검색 없이 TSDF 볼륨 내에서 SMPL 형태와 자세 파라미터를 직접 최적화함으로써 효율성과 정확도를 향상시킨다.
• 체적 형태-자세 최적화를 통해 내부 신체 모델을 온라인으로 정밀하게 보정하여 외부 표면 안에 항상 포함되도록 보장한다.
• 재구성 과정에서 내부 신체 형태가 외부 표면 안에 들어오도록 제약을 두어 기하학적 일致성을 강화한다.

실험 결과

연구 질문

• RQ1 단일 깊이 카메라로 세밀한 외부 옷차림 기하학과 타당성 있는 내부 신체 형태를 실시간으로 재구성할 수 있는가?
• RQ2 신체 형태와 자세 사전 지식을 어떻게 효과적으로 동적 표면 재구성과 융합하여 추적 강인성을 향상시킬 수 있는가?
• RQ3 내부 신체 형태와 외부 표면 변형을 공동으로 최적화함으로써 빠른 동작 시나리오에서 루프 클로징과 성능을 향상시킬 수 있는가?
• RQ4 사전 스캔된 템플릿이나 다중 시야 데이터 없이도 정확하고 온라인으로 형태-자세 최적화를 수행할 수 있는가?

주요 결과

• DoubleFusion는 BodyFusion 대비 프레임당 추적 오차를 19.5% 감소시켜 평균 오차 0.0221m를 기록하며, BodyFusion의 0.0277m보다 우수하다.
• 최대 추적 오차는 BodyFusion의 0.0554m에서 DoubleFusion의 0.0458m로 감소하여 특히 빠른 동작 중 성능 향상이 두드러진다.
• 신체의 큰 부분이 일시적으로 가림을 겪더라도 안정적인 루프 클로징과 강인한 추적을 유지한다.
• 재구성된 내부 신체 형태는 시각적으로 타당성이 있으며, 두꺼운 옷을 입은 경우에도 평균 정점 오차가 낮게 유지된다.
• 체적 형태-자세 최적화로 비정적 추적 정확도가 향상되었으며, 정량적 평가에서 점-면 오차가 감소한 것으로 확인되었다.
• 특히 복잡하고 빠른 동작을 처리하는 데서 DynamicFusion과 BodyFusion보다 정량적·정성적 평가 모두에서 뛰어난 성능을 보였다.