[논문 리뷰] Locally Aware Piecewise Transformation Fields for 3D Human Mesh Registration

Shaofei Wang, Andreas Geiger외 1명|arXiv (Cornell University)|2021. 04. 16.

3D Shape Modeling and Analysis참고 문헌 60인용 수 1

한 줄 요약

이 논문은 국소적 특징에 맞춘 조각별 변환 필드(PTF)를 제안하며, 국소적 특징 기반의 변환 필드를 통해 정확한 자세 초기화를 추정함으로써 3D 인간 메쉬 정렬을 향상시키는 학습 기반 방법이다. 국소적 특징에서 점 대응 관계를 예측하고 최소 제곱법을 사용해 관절 회전을 복원함으로써, 이전 방법들에 비해 더 정확하고 파rameter 효율적인 옷을 입은 인간 포인트 클라우드의 재구성 및 정렬을 가능하게 한다.

ABSTRACT

Registering point clouds of dressed humans to parametric human models is a challenging task in computer vision. Traditional approaches often rely on heavily engineered pipelines that require accurate manual initialization of human poses and tedious post-processing. More recently, learning-based methods are proposed in hope to automate this process. We observe that pose initialization is key to accurate registration but existing methods often fail to provide accurate pose initialization. One major obstacle is that, regressing joint rotations from point clouds or images of humans is still very challenging. To this end, we propose novel piecewise transformation fields (PTF), a set of functions that learn 3D translation vectors to map any query point in posed space to its correspond position in rest-pose space. We combine PTF with multi-class occupancy networks, obtaining a novel learning-based framework that learns to simultaneously predict shape and per-point correspondences between the posed space and the canonical space for clothed human. Our key insight is that the translation vector for each query point can be effectively estimated using the point-aligned local features; consequently, rigid per bone transformations and joint rotations can be obtained efficiently via a least-square fitting given the estimated point correspondences, circumventing the challenging task of directly regressing joint rotations from neural networks. Furthermore, the proposed PTF facilitate canonicalized occupancy estimation, which greatly improves generalization capability and results in more accurate surface reconstruction with only half of the parameters compared with the state-of-the-art. Both qualitative and quantitative studies show that fitting parametric models with poses initialized by our network results in much better registration quality, especially for extreme poses.

연구 동기 및 목표

• 옷을 입은 인간의 딥러닝 기반 3D 인간 메쉬 정렬에서 정확하지 않은 자세 초기화 문제를 해결하기 위해.
• 신경망을 사용해 포인트 클라우드에서 직접 관절의 회전을 회귀하는 데 어려움을 극복하기 위해.
• 매개변수화된 인간 모델을 위한 암묵적 표면 학습에서 일반화 능력과 재구성 품질을 향상시키기 위해.
• 최신 기술 수준의 방법들과 비교해 정확도를 유지하거나 향상시키면서도 모델 파rameter를 줄이기 위해.
• 표준화된 점유도 추정을 활용해 극단적인 자세에 대해서도 강건한 정렬을 가능하게 하기 위해.

제안 방법

• 조각별 변환 필드(PTF)를 제안하며, 이는 쿼리 포인트를 자세가 있는 공간에서 릴랙스된 자세 공간으로 매핑하는 함수의 집합으로, 국소적 포인트 클라우드 특징을 사용한다.
• 다중 클래스 점유도 네트워크를 사용해 동시에 예측: (1) 이중 레이어 점유도(신체 내부, 옷 사이, 외부), (2) 신체 부위 레이블, (3) 각 점에 대한 릴랙스된 자세의 대응 위치.
• 예측된 점 대응 관계에 대해 최소 제곱법을 적용해 강체 뼈 변환과 관절 회전을 효율적으로 복원함으로써, 직접적으로 변환 매개변수를 회귀하는 것을 피한다.
• 쿼리 포인트를 점유도 추론 이전에 릴랙스된 자세 공간으로 변환함으로써 표준화 단계를 도입함으로써 학습 과제를 단순화하고 일반화 능력을 향상시킨다.
• 메모리 집약적인 볼륨 기반 IFNet을 대체하기 위해 효율적이고 정확한 특징 추출을 위한 3면 컨볼루션 특징 인코더(ConVONet)를 사용한다.
• 학습 중에 무작위로 자세를 회전시키는 데이터 증강 기법을 적용해 다양한 입력 방향에 대한 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 포인트 클라우드 특징을 효과적으로 활용해 자세가 있는 공간과 릴랙스된 자세 공간 간의 정확한 점 대응 관계를 추정할 수 있는가?
• RQ2 6차원 회전 행렬을 직접 회귀하지 않음으로써, 종단 간 회귀 기반 베이스라인 대비 자세 추정 정확도가 향상되는가?
• RQ3 조각별 변환 필드는 재구성 및 정렬 품질을 유지하거나 향상시키면서도 모델 파rameter를 줄일 수 있는가?
• RQ4 PTF를 통한 표준화된 점유도 추정은 일반화 능력과 표면 재구성 정밀도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 베이스라인 방법이 실패하는 원시적이고 처리되지 않은 스캔 및 극단적인 자세에 일반화될 수 있는가?

주요 결과

• 우리 방법은 자세 추정의 정점 오차를 기준선의 74.4 mm에서 34.1 mm로 감소시켜 자세 정확도 향상의 명확한 증거를 보였다.
• PTF-Piecewise는 mIoU 89.4%와 외부 카프만 거리 0.0148를 달성하며, IPNet(88.6% mIoU, 0.0151 CD)를 능가하고 파rameter를 46% 줄였다.
• PTF-FC는 IPNet의 파rameter의 64%만 사용하지만, mIoU는 2.6% 향상되고 외부 카프만 거리는 2.6% 감소시켰다.
• 이 방법은 BUFF 데이터셋의 원시 스캔에 잘 일반화되어 있으며, 미세조정 없이도 고품질의 등록된 SMPL 메쉬를 생성한다.
• 절단 분석 결과, PTF를 4층의 MLP(TF-FC)로 대체하면 성능이 떨어지며, 이는 PTF 모듈의 필요성을 확인한다.
• 무작위 입력 회전을 통한 데이터 증강이 성능 향상에 기여함을 확인하여, 이 기법이 강건성과 일반화 능력 향상에 기여한다는 것을 검증한다.