[논문 리뷰] Function4D: Real-time Human Volumetric Capture from Very Sparse Consumer RGBD Sensors

Tao Yu, Zerong Zheng외 4명|arXiv (Cornell University)|2021. 05. 05.

Advanced Vision and Imaging참고 문헌 57인용 수 9

한 줄 요약

Function4D는 단지 3개의 희박한 소비자용 RGBD 센서만을 사용하여 실시간으로 인간의 부피 캡처를 수행하는 시스템을 제안한다. 이는 동적 슬라이딩 융합을 통해 위상 일관성을 유지하는 부피 융합과 고해상도 표면 복원을 위한 세부 정보 유지를 위한 딥 암시 함수를 조합한다. 이는 기존 방법들에 비해 더 뛰어난 재구성 품질, 시간적 일관성, 효율성을 달성하며, 빠른 움직임과 전신 가림과 같은 도전적인 조건에서도 성능을 유지를 한다.

ABSTRACT

Human volumetric capture is a long-standing topic in computer vision and computer graphics. Although high-quality results can be achieved using sophisticated off-line systems, real-time human volumetric capture of complex scenarios, especially using light-weight setups, remains challenging. In this paper, we propose a human volumetric capture method that combines temporal volumetric fusion and deep implicit functions. To achieve high-quality and temporal-continuous reconstruction, we propose dynamic sliding fusion to fuse neighboring depth observations together with topology consistency. Moreover, for detailed and complete surface generation, we propose detail-preserving deep implicit functions for RGBD input which can not only preserve the geometric details on the depth inputs but also generate more plausible texturing results. Results and experiments show that our method outperforms existing methods in terms of view sparsity, generalization capacity, reconstruction quality, and run-time efficiency.

연구 동기 및 목표

• 매우 희박한(최소 3대) 소비자용 RGBD 센서를 사용하여 실시간으로 고정밀도 인간 부피 캡처를 가능하게 하기.
• 기존 시스템이 밀도 높은 카메라 어레이, 고성능 센서, 또는 장기 추적에 의존하는 한계를 극복하기.
• 빠른 움직임, 옷 갈아입기, 다수의 사람 간 상호작용과 같은 복잡한 상황에서도 시간적으로 일관되고 기하학적으로 세밀한 재구성을 달성하기.
• 장기 비정형 추적에 대한 의존도를 줄이기 위해 딥 암시 함수를 단기 부피 융합과 통합하기.
• 향후 실시간 3D 인간 재구성 연구를 촉진하기 위해 500개의 고해상도 스캔 데이터셋을 공개 제공하기.

제안 방법

• 시간 융합을 슬라이딩 윈도우 내로 제한하는 동적 슬라이딩 융합 기법을 도입하여 추적 오차와 위상 변화에 대한 강건성을 향상시키고 시간적 연속성을 유지한다.
• 노이즈가 많은 깊이 입력에서 기하학적 세부 정보를 유지하기 위해 절삭된 투영된 부호거리 함수(PSDF) 특징을 명시적으로 인코딩한다.
• 다중 시야 자기주의 메커니즘을 특징 융합 단계에 통합하여 다중 시야 기하학적 및 텍스처 특징을 동적이고 상관관계 인식 가능한 방식으로 융합한다.
• 융합된 부피 데이터로부터 세밀한 표면을 재구성하기 위해 훈련된 딥 암시 함수 네트워크인 GeoNet을 사용하며, 정확도 향상을 위해 PSDF 값의 명시적 활용을 포함한다.
• ColorNet은 유사한 주의 기반 아키텍처를 사용하여 다중 시야 RGB 입력에서 고품질이고 자연스러운 텍스처를 추론한다.
• 부피 융합과 암시 신경 표현을 통합된 파이프라인으로 조합하여 소비자 하드웨어에서도 실시간 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 3대의 소비자용 RGBD 센서만을 사용하여 실시간으로 고품질의 인간 부피 캡처를 달성할 수 있는가?
• RQ2 다이나믹한 장면에서 위상 변화와 장기적인 추적 오차에 대해 부피 융합을 어떻게 강건하게 만들 수 있는가?
• RQ3 희박하고 노이즈가 많은 깊이 입력을 공급받을 때 딥 암시 함수가 기하학적 세부 정보를 효과적으로 유지하고 자연스러운 텍스처를 생성할 수 있는가?
• RQ4 절삭된 PSDF 인코딩이 재구성 정확도와 효율성 향상에 어떤 역할을 하는가?
• RQ5 다중 시야 자기주의 기법이 텍스처 및 기하학적 재구성에 대한 특징 융합을 어떻게 향상시키는가?

주요 결과

• Function4D는 3센서 설정에서도 최신 기술 수준의 재구성 품질을 달성하며, 기존 방법들에 비해 뷰 희박성, 일반화 능력, 런타임 효율성에서 뛰어난 성능을 보인다.
• 동적 슬라이딩 융합 기법은 노이즈를 감소시키고 위상 일관성을 향상시켜 심한 가림이나 움직임 상황에서도 완전하고 시간적으로 연속적인 재구성을 생성한다.
• 절삭된 PSDF 특징의 사용은 PSDF 없이 훈련된 모델 대비 카프만 거리에서 28% 향상된 정확도를 달성한다 (1.678 vs. 2.359×10⁻³).
• ColorNet의 주의 기반 특징 융합은 특히 시야 경계 근처에서 텍스처 품질을 크게 향상시켜 더 선명하고 자연스러운 결과를 생성한다.
• GeoNet은 프레임당 약 80초 내로 고정밀 표면을 재구성하며, 더 복잡한 입력을 사용하고도 IPNet보다 수 개의 주기 빠르게 작동한다.
• 제안된 시스템은 옷 갈아입기, 옷 벗기, 다수의 사람 간 상호작용과 같은 도전적인 상황을 성공적으로 처리하며, 템플릿 기반 또는 장기 추적에 의존하는 방법들에 비해 뛰어난 성능을 보인다.