[논문 리뷰] PyMAF: 3D Human Pose and Shape Regression with Pyramidal Mesh Alignment Feedback Loop

Hongwen Zhang, Yating Tian외 5명|arXiv (Cornell University)|2021. 03. 30.

Human Pose and Action Recognition참고 문헌 73인용 수 11

한 줄 요약

PyMAF는 단일 이미지에서 3D 인간 메시 재구성에 대해 피라미드형 메시 정렬 피드백 루프를 제안하며, 기능 피라미드에서 다중 척도의 메시에 정렬된 특징을 사용하여 예측된 매개변수를 반복적으로 개선함으로써 메시-이미지 정렬을 향상시킨다. 보조 픽셀 단위의 감독을 통해 조밀한 대응 관계를 활용하여 특징의 신뢰성을 높이며, Human3.6M, 3DPW, LSP 및 COCO 벤치마크에서 최신 기술 수준의 성능을 달성하여 MPJPE 및 PA-MPJPE 점수를 향상시킨다.

ABSTRACT

Regression-based methods have recently shown promising results in reconstructing human meshes from monocular images. By directly mapping raw pixels to model parameters, these methods can produce parametric models in a feed-forward manner via neural networks. However, minor deviation in parameters may lead to noticeable misalignment between the estimated meshes and image evidences. To address this issue, we propose a Pyramidal Mesh Alignment Feedback (PyMAF) loop to leverage a feature pyramid and rectify the predicted parameters explicitly based on the mesh-image alignment status in our deep regressor. In PyMAF, given the currently predicted parameters, mesh-aligned evidences will be extracted from finer-resolution features accordingly and fed back for parameter rectification. To reduce noise and enhance the reliability of these evidences, an auxiliary pixel-wise supervision is imposed on the feature encoder, which provides mesh-image correspondence guidance for our network to preserve the most related information in spatial features. The efficacy of our approach is validated on several benchmarks, including Human3.6M, 3DPW, LSP, and COCO, where experimental results show that our approach consistently improves the mesh-image alignment of the reconstruction. The project page with code and video results can be found at https://hongwenzhang.github.io/pymaf.

연구 동기 및 목표

• 작은 매개변수 오차가 명백한 관절 이동을 유도하는 회귀 기반 3D 인간 메시 재구성에서 메시-이미지 정렬 불일치 문제를 해결하기 위해.
• 메시-이미지 대응 관계 가이드라인을 통합하여 매개변수 보정에 사용되는 공간적 특징의 신뢰성과 관련성을 향상시키기 위해.
• 다양한 해상도 수준의 특징을 활용하는 피드백 루프를 통해 파라미터화된 메시 매개변수를 점진적이고 다중 척도적으로 교정할 수 있도록 하기 위해.
• 반복적인 오류 피드백에 대한 의존도를 줄이기 위해, 시각적 증거를 바탕으로 편차를 명시적으로 보정하는 메시 정렬 인식 피드백 메커니즘으로 이를 대체하기 위해.

제안 방법

• 피라미드형 메시 정렬 피드백 루프를 도입하여, 현재 메시 추정치의 2D 투영 기반으로 다중 척도 특징 맵에서 메시에 정렬된 특징을 추출한다.
• 이 피드백 루프는 이러한 특징을 사용하여 예측된 메시 매개변수를 반복적으로 개선하며, 점차적으로 이미지 증거와의 정렬을 향상시킨다.
• 조밀한 대응 관계를 예측하기 위해 최고 해상도의 특징 맵에 보조 픽셀 단위 감독 작업을 도입하여 인코더가 메시-이미지 정렬 정보를 유지하도록 유도한다.
• 메시에 정렬된 특징은 투영된 메시 정점들을 샘플링 포인트로 사용하여 추출되며, 이로써 공간적 특징이 이미지 수준의 신호와 정렬됨을 보장한다.
• 표준 메시 회귀 손실과 보조 조밀한 대응 관계 손실을 동시에 사용하여 네트워크를 엔드 투 엔드로 훈련시켜 특징 품질을 향상시킨다.
• 피드백용 초기 특징은 격자점에서 또는 평균 자세 메시 투영에서 샘플링되며, 둘 다 효과적인 개선을 지원하는 것으로 입증되었다.

실험 결과

연구 질문

• RQ1 기능 피라미드에서 유도된 메시에 정렬된 특징을 사용하는 피드백 메커니즘이 회귀 기반 3D 인간 메시 재구성에서 메시-이미지 정렬을 향상시킬 수 있는가?
• RQ2 조밀한 대응 관계에 대한 보조 픽셀 단위 감독이 매개변수 보정에 사용되는 공간적 특징의 신뢰성을 향상시키는가?
• RQ3 제안된 PyMAF 피드백 루프는 기존의 반복적 오류 피드백과 비교해 수렴성과 정렬 품질 측면에서 어떻게 성능을 냈는가?
• RQ4 다중 척도 특징 활용이 운동학적 체인에서의 파라미터화된 왜곡 교정에 얼마나 기여하는가?

주요 결과

• PyMAF는 Human3.6M, 3DPW, LSP 및 COCO 벤치마크에서 최신 기술 수준의 성능을 달성하며, 조밀한 대응 관계 감독과 특징 기반 입력을 사용할 경우 MPJPE 75.1 mm, PA-MPJPE 48.9 mm를 기록한다.
• 보조 조밀한 대응 관계 감독은 보조 감독 없을 경우(76.8 mm → 75.1 mm) MPJPE를 1.7 mm 감소시켜 특징 품질 향상에 효과적임을 입증한다.
• 특징 맵을 사용한 포인트 단위 특징 추출은 보조 예측(예: 부위 세분화)을 사용하는 것보다 우수하며, 부위 세분화에서 특징 맵으로 전환할 경우 MPJPE가 108.1 mm에서 75.1 mm로 감소한다.
• 피드백 루프는 평균 자세 메시에서 초기화된 경우에도 정렬 향상에 크게 기여하여 네 번의 반복 동안 MPJPE를 274.0 mm에서 75.1 mm로 감소시킨다.
• 절단 분석 결과, 저해상도 특징에서 추출된 메시에 정렬된 특징은 대규모 교정을 가능하게 하고, 고해상도 특징은 미세한 보정을 제공함을 확인하였다.