[논문 리뷰] Pose2Pose: 3D Positional Pose-Guided 3D Rotational Pose Prediction for Expressive 3D Human Pose and Mesh Estimation

Gyeongsik Moon, Kyoung Mu Lee|arXiv (Cornell University)|2020. 11. 23.

Human Pose and Action Recognition참고 문헌 54인용 수 20

한 줄 요약

Pose2Pose는 3D 인간 자세 및 메쉬 추정을 향상시키기 위해 공간 키포인트 위치에서 관절 수준의 특징을 위치 기반 자세 유도 풀링을 사용해 추출하는 3D 위치 자세 유도 프레임워크를 제안한다. 이는 더 정확한 3D 회전 자세 예측을 가능하게 한다. 종료에서 종료로 훈련된 이 프레임워크는 이전의 단일 이미지 기반 특징 기반 방법들보다 표현력 있는 3D 자세 추정에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Previous expressive 3D human pose and mesh estimation methods mostly rely on a single image feature vector to predict 3D rotations of human joints (i.e., 3D rotational pose) from an input image. However, the single image feature vector lacks human joint-level features. To resolve the limitation, we present Pose2Pose, a 3D positional pose-guided 3D rotational pose prediction framework for expressive 3D human pose and mesh estimation. Pose2Pose extracts the joint-level features on the position of human joints (i.e., positional pose) using a positional pose-guided pooling, and the joint-level features are used for the 3D rotational pose prediction. Our Pose2Pose is trained in an end-to-end manner and largely outperforms previous expressive methods. The codes will be publicly available.

연구 동기 및 목표

• 단일 이미지 기반 특징 벡터가 관절 수준의 공간 정보를 결여하고 있는 이전 방법의 한계를 해결한다.
• 인간 관절의 공간적 위치 특징을 통합하여 3D 회전 자세 예측 정확도를 향상시킨다.
• 관절 수준의 특징을 종료에서 종료로 훈련 가능한 방식으로 3D 자세 추정에 통합하는 프레임워크를 개발한다.
• 관절 간의 공간적 관계를 모델링하여 더 표현력 있고 정확한 3D 인간 메쉬 및 자세 추정을 가능하게 한다.

제안 방법

• 인간 관절의 공간적 위치에서 관절 수준의 특징을 추출하기 위해 위치 기반 자세 유도 풀링 기법을 도입한다.
• 추출된 관절 수준의 특징을 맵핑하여 3D 회전 자세 예측을 유도함으로써 정확도를 향상시킨다.
• 관절 수준의 특징을 사용하여 메쉬 및 3D 자세 추정을 동시에 최적화하는 종료에서 종료로 훈련 가능한 네트워크를 설계한다.
• 표준 이미지 수준의 임bedding을 초월하여 인간 관절의 공간적 구조를 활용해 특징 표현을 향상시킨다.
• 3D 관절 회전 예측을 위한 회귀 헤드에 위치 기반 자세 특징을 통합한다.
• 3D 자세 및 메쉬 복원에 대한 지도 학습을 사용해 전체 모델을 종료에서 종료로 훈련시킨다.

실험 결과

연구 질문

• RQ1 3D 관절 위치에서 추출한 관절 수준의 공간 특징이 단일 이미지 기반 특징 벡터에 비해 3D 회전 자세 예측 성능을 향상시키는가?
• RQ2 위치 기반 자세 유도를 통합할 경우 표현력 있는 3D 인간 메쉬 및 자세 추정의 정확도에 어떤 영향을 미치는가?
• RQ3 관절 수준의 특징을 사용한 종료에서 종료 훈련 방식이 이전의 전역 이미지 특징에 의존하는 방법들에 비해 얼마나 뛰어난가?
• RQ4 위치 기반 자세 유도 풀링이 인간 관절 간의 공간적 관계를 효과적으로 포착하여 3D 자세 회귀 성능을 향상시키는가?

주요 결과

• Pose2Pose는 이전의 표현력 있는 3D 인간 자세 추정 방법들에 비해 3D 회전 자세 예측 성능에서 뛰어난 성능을 기록한다.
• 위치 기반 자세 유도 풀링을 통한 관절 수준의 특징 통합이 더 정확한 3D 관절 회귀를 이끈다.
• 종료에서 종료 훈련 방식은 더 나은 특징 학습과 향상된 메쉬 복원 품질을 가능하게 한다.
• 전역 이미지 특징 벡터에만 의존하는 베이스라인에 비해 이 방법은 공간적 관절 수준 표현의 가치를 입증한다.
• 관절 간의 공간적 관계 모델링이 향상되어 표현력 있는 자세에 대해 강력한 일반화 성능을 보인다.