[논문 리뷰] VoxelPose: Towards Multi-Camera 3D Human Pose Estimation in Wild Environment

Hanyue Tu, Chunyu Wang외 1명|arXiv (Cornell University)|2020. 04. 13.

Human Pose and Action Recognition참고 문헌 41인용 수 12

한 줄 요약

VoxelPose는 다중 시야 2D 히트맵을 3D 복합체 특징 볼륨으로 통합함으로써 3D 공간에서 직접 작동하는 새로운 3D 다중 인물 자세 추정 프레임워크를 제안한다. 이는 오류가 발생하기 쉬운 2D 대응 매칭을 피한다. 이는 3D 사람 위치 추정을 위한 쿠보이드 제안 네트워크(CPN)와 세밀한 3D 자세 추정을 위한 자세 회귀 네트워크(PRN)를 사용하며, Campus 및 Shelf 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 가림에 대한 강건성을 향상시킨다.

ABSTRACT

We present an approach to estimate 3D poses of multiple people from multiple camera views. In contrast to the previous efforts which require to establish cross-view correspondence based on noisy and incomplete 2D pose estimations, we present an end-to-end solution which directly operates in the $3$D space, therefore avoids making incorrect decisions in the 2D space. To achieve this goal, the features in all camera views are warped and aggregated in a common 3D space, and fed into Cuboid Proposal Network (CPN) to coarsely localize all people. Then we propose Pose Regression Network (PRN) to estimate a detailed 3D pose for each proposal. The approach is robust to occlusion which occurs frequently in practice. Without bells and whistles, it outperforms the state-of-the-arts on the public datasets. Code will be released at https://github.com/microsoft/multiperson-pose-estimation-pytorch.

연구 동기 및 목표

• 야생 환경에서의 정확도 낮고 완전하지 못한 2D 자세 추정 문제를 해결하기 위해, 특히 가림 상황에서의 성능 향상.
• 3D 공간에서 직접 작동함으로써 복잡한 2D에서 3D로의 대응 매칭이 필요 없도록 하기 위해.
• 다중 카메라 간의 통합된 3D 특징 표현을 통해 다중 인물 3D 자세 추정의 강건성과 정확도 향상.
• 정밀한 2D 관건점 애너테이션에 의존도를 줄이고 다양한 카메라 구성에 일반화할 수 있도록 하기 위해.

제안 방법

• 먼저 CNN 기반 2D 자세 추정기로 모든 카메라 시야에 대해 2D 히트맵 표현을 추정한다.
• 그 후 이 2D 히트맵들을 공통의 3D 복합체 공간으로 투영하고 왜곡하여 종합적인 3D 특징 볼륨을 형성함으로써 완전성과 노이즈 감소를 향상시킨다.
• 3D 특징 볼륨에 쿠보이드 제안 네트워크(CPN)를 적용하여 장면 내 모든 사람의 거친 3D 큐브 형태의 제안을 생성한다.
• 각 제안에 대해 더 세밀한 3D 특징 볼륨을 추출하고 이를 자세 회귀 네트워크(PRN)에 입력하여 세밀한 3D 관절 좌표를 추정한다.
• CPN과 PRN은 3D 컨볼루션 레이어를 사용하여 공동으로 학습되며, 명시적인 2D 관절점 연관 없이 엔드 투 엔드 학습이 가능하다.
• 3D 공간 일관성을 통해 내시야 및 상하좌우 시야 간의 관절 연관을 암묵적으로 처리함으로써 후처리 클러스터링에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 2D 대응 매칭을 피하는 것으로 3D 인간 자세 추정의 가림에 대한 강건성을 향상시킬 수 있는가?
• RQ2 다중 시야 2D 히트맵에서 생성된 3D 복합체 특징 볼륨이 추정 정확도와 완전성을 향상시킬 수 있는가?
• RQ3 3D 컨볼루션 네트워크를 직접 사용한 3D 예측이 실제 환경에서 이중 단계 2D에서 3D로의 파이프라인을 능가하는가?
• RQ4 합성 히트맵으로 학습된 모델이 미세조정 없이도 실제 데이터에 일반화 가능한가?

주요 결과

• VoxelPose는 Campus 데이터셋에서 96.7%의 PCP3D 정확도를 달성하여 이전 최신 기술 수준의 96.3%에서 향상되었다.
• Shelf 데이터셋에서는 97.0%의 PCP3D를 기록하여 이전 최고 성능 기준(96.9%)을 초월했으며, 잘못된 양성 결과를 크게 감소시켰다.
• 모델은 단일 인물 기준 Human3.6M 벤치마크에서 유사한 성능(19 mm MPJPE)을 달성하여 강력한 일반화 능력을 보였다.
• 합성 히트맵으로도 잘 일반화되어, 합성 데이터로 학습된 모델이 실제 이미지로 학습된 모델과 유사한 성능을 내는 데 성공했다.
• 2D 관절점 추정의 정확도에 의존하지 않고 3D 공간 일관성을 기반으로 하므로, 잘못된 2D 관절점 애너테이션으로 인한 오차를 줄였다.
• 단일 Titan X GPU에서 추론 시간은 약 300ms이며, 희소 3D 컨볼루션을 통해 속도 향상 가능성이 있다.