[논문 리뷰] StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision

H. C. Yang, Juyong Zhang외 4명|arXiv (Cornell University)|2021. 04. 12.

Advanced Vision and Imaging참고 문헌 55인용 수 4

한 줄 요약

StereoPIfu는 스테레오 시각과 암묵 함수 표현을 사용하여 깊이 인식 3D 옷 입은 인간 디지타이제이션 방법을 제안한다. 스테레오 네트워크에서 유도된 바vox 정렬 특징과 상대적 z-오프셋 메커니즘을 통합함으로써, PIFuHD와 같은 기존 단일 이미지 방법보다 더 정확하고 완전하며 강건한 재구성을 달성하며, 포인트-면 오차를 74.1% 감소시키고, 캐미어 거리(Chamfer distance)를 75.1% 감소시킨다.

ABSTRACT

In this paper, we propose StereoPIFu, which integrates the geometric constraints of stereo vision with implicit function representation of PIFu, to recover the 3D shape of the clothed human from a pair of low-cost rectified images. First, we introduce the effective voxel-aligned features from a stereo vision-based network to enable depth-aware reconstruction. Moreover, the novel relative z-offset is employed to associate predicted high-fidelity human depth and occupancy inference, which helps restore fine-level surface details. Second, a network structure that fully utilizes the geometry information from the stereo images is designed to improve the human body reconstruction quality. Consequently, our StereoPIFu can naturally infer the human body's spatial location in camera space and maintain the correct relative position of different parts of the human body, which enables our method to capture human performance. Compared with previous works, our StereoPIFu significantly improves the robustness, completeness, and accuracy of the clothed human reconstruction, which is demonstrated by extensive experimental results.

연구 동기 및 목표

• PIFu와 같은 단일 이미지 3D 인간 재구성 방법에서 발생하는 깊이 모호성과 일관되지 않은 공간 위치 문제를 해결한다.
• 옷을 입은 인간 신체 재구성에서 기하학적 세부 사항 복구 및 구조적 일관성을 향상시킨다.
• 단일 뷰 방법보다 더 풍부한 기하 제약 조건을 제공하는 스테레오 시각을 활용한다.
• 깊이 인식 감독을 통해 뒷면 영역에서의 기하학적 복제나 끊어진 사지 등의 아티팩트를 제거한다.
• 기본 공간 정규화 없이도 복잡한 인간 형태와 자세에 대해 정확하고 강건하며 완전한 3D 재구성을 가능하게 한다.

제안 방법

• 스테레오 기반 볼륨 데이터에서 추출된 바vox 정렬 특징을 도입하여 깊이 인식 3D 특징 표현을 가능하게 한다.
• 정렬된 스테레오 이미지 특징에서 비용 볼륨을 구성하여 대응 픽셀 간의 기하 상관관계를 인코딩한다.
• 3D 쿼리 포인트에 대해 바vox 격자에서의 삼선형 보간을 사용하여 공간적으로 정렬된 특징을 생성한다.
• 암묵 함수의 입력으로 3D 쿼리 포인트와 그가 투영된 픽셀의 예측 깊이 사이의 상대적 z-오프셋을 통합한다.
• 예측된 고해상도 깊이 맵을 전역적 형태 우선 정보로 활용하여 점유도 추론을 안내하고 표면 세부 사항을 향상시킨다.
• 스테레오 기하학을 완전히 활용하는 네트워크 아키텍처를 설계하여 기본 정규화 없이도 카메라 공간 내에서 공간적 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 이미지 방법과 비교할 때 스테레오 시각이 3D 옷 입은 인간 재구성에서 깊이 정확도와 공간 일관성을 향상시킬 수 있는가?
• RQ2 스테레오 네트워크에서 유도된 바vox 정렬 특징은 암묵 함수 기반 재구성에서 기하학적 세부 사항 복구를 어떻게 향상시킬 수 있는가?
• RQ3 절대 z-값 대비 상대적 z-오프셋을 사용할 경우 표면 세부 사항 향상과 아티팩트 감소에 어느 정도 기여하는가?
• RQ4 스테레오 추정에서 유도된 깊이 인식 감독은 재구성된 인간 신체에서 끊어진 사지와 같은 구조적 오류를 제거할 수 있는가?
• RQ5 제안된 방법은 최신 기술 대비 도전적인 자세, 가림, 실세계 데이터에서 어떻게 성능을 발휘하는가?

주요 결과

• StereoPIfu는 평균 포인트-면 거리를 PIFuHD의 1.97cm에서 0.51cm로 줄여 74.1% 향상시켰다.
• 캐미어 거리는 PIFuHD의 2.21cm에서 0.55cm로 줄어들어 75.1% 감소했으며, 이는 뛰어난 기하 정확도를 보여준다.
• 임신부나 구부정한 자세와 같은 복잡한 형태를 성공적으로 재구성하여 상대적 사지 위치를 정확히 유지했다.
• 이중 카메라로 촬영한 실세계 데이터에서, 다양한 조명 및 캘리브레이션 조건에서도 StereoPIfu는 안정적이고 정확한 재구성을 생성했다.
• PIFuHD와 비교해 복잡한 자세나 가림 상태에서 사지가 너무 길어지거나 비현실적인 비율이 되는 등의 구조적 아티팩트를 피했다.
• 단일 이미지 기반 기준선과 달리, 강성 정렬 또는 스케일링 연산 없이도 깊이 인식 재구성을 달성했다.