[논문 리뷰] Cross-View Tracking for Multi-Human 3D Pose Estimation at over 100 FPS

Long Chen, Haizhou Ai외 3명|arXiv (Cornell University)|2020. 03. 09.

Human Pose and Action Recognition참고 문헌 33인용 수 12

한 줄 요약

이 논문은 다수의 캘리브레이션된 카메라를 통해 실시간 다중 인체 3D 자세 추정을 위한 크로스 뷰 트래킹 프레임워크를 제안한다. 시간적 일관성을 활용하여 2D 자세를 3D 공간 내의 3D 자세에 반복적으로 매칭한다. 다시 시작하지 않고 시간에 따라 3D 자세를 업데이트함으로써, 12대의 카메라에서 154 FPS, 28대의 카메라에서 34 FPS의 성능을 달성하여 효율성과 음영 및 노이즈가 많은 2D 검출에 대한 강인성을 크게 향상시킨다.

ABSTRACT

Estimating 3D poses of multiple humans in real-time is a classic but still challenging task in computer vision. Its major difficulty lies in the ambiguity in cross-view association of 2D poses and the huge state space when there are multiple people in multiple views. In this paper, we present a novel solution for multi-human 3D pose estimation from multiple calibrated camera views. It takes 2D poses in different camera coordinates as inputs and aims for the accurate 3D poses in the global coordinate. Unlike previous methods that associate 2D poses among all pairs of views from scratch at every frame, we exploit the temporal consistency in videos to match the 2D inputs with 3D poses directly in 3-space. More specifically, we propose to retain the 3D pose for each person and update them iteratively via the cross-view multi-human tracking. This novel formulation improves both accuracy and efficiency, as we demonstrated on widely-used public datasets. To further verify the scalability of our method, we propose a new large-scale multi-human dataset with 12 to 28 camera views. Without bells and whistles, our solution achieves 154 FPS on 12 cameras and 34 FPS on 28 cameras, indicating its ability to handle large-scale real-world applications. The proposed dataset is released at https://github.com/longcw/crossview_3d_pose_tracking.

연구 동기 및 목표

• 다수의 사람으로 혼잡한 다중 카메라 환경에서의 다중 시점 2D 자세 연동의 모호함 문제를 해결한다.
• 카메라 수가 증가함에 따라 병합 연동의 복잡도가 급격히 증가하는 대규모 다중 카메라 시스템에서의 계산 복잡도를 감소시킨다.
• 다중 시점 3D 일관성을 활용하여 노이즈가 많은 2D 관절 검출 및 부분 음영에 대한 강인성을 향상시킨다.
• 최대 28대의 카메라를 포함한 대규모 구현 환경에서 100 FPS 이상의 실시간 3D 자세 추정을 가능하게 한다.
• 새로운 대규모 다중 카메라 데이터셋을 도입하여 실생활 감시 및 활동 분석에 적용 가능한 확장 가능한 솔루션을 제공한다.

제안 방법

• 모든 시점을 동시에 재처리하지 않고 시간에 따라 유지 및 업데이트하는 3D 자세를 유지하는 반복적 크로스 뷰 다중 인체 트래킹 프레임워크를 제안한다.
• 에피포라 기하학과 3D 관절 일관성 기반으로 각 카메라의 2D 검출을 기존 3D 자세에 매칭하기 위해 3D 공간 내 기하학적 유사도 측정을 사용한다.
• 다양한 시점에서 매칭된 2D 검출을 이용한 삼각측량을 통해 3D 자세를 개선하는 새로운 인크리멘탈 3D 재구성 알고리즘을 도입한다.
• 시간에 따른 일관성을 확보하기 위해 유사도 함수에 시간 페널티 항($\lambda_a$, $\lambda_t$)을 통합하여 프레임 간 추적 안정성을 향상시킨다.
• 검출 품질과 기하학적 일관성의 균형을 맞추기 위해 2D 및 3D 유사도의 가중 혼합($w_{2D}=0.4$, $w_{3D}=0.6$)을 적용한다.
• 사이클 일관성 제약 조건을 포함한 그래프 분할을 통해 모호한 연동을 해결하고, 다양한 시점 간 유효한 개인 수준의 그룹화를 보장한다.

실험 결과

연구 질문

• RQ1 반복적 3D 자세 추적 기반의 다중 시점 접근이 배치 기반 크로스 뷰 연동 대비 계산 복잡도를 줄일 수 있는가?
• RQ2 비디오에서의 시간적 일관성은 노이즈가 많은 2D 관절 검출 및 부분 음영에 대한 강인성을 어떻게 향상시키는가?
• RQ3 3D 자세 추적 프레임워크는 28대의 카메라와 같은 대규모 카메라 시스템에 얼마나 스케일링될 수 있으며, 실시간 성능를 유지할 수 있는가?
• RQ4 공개 벤치마크와 대규모 실생활 환경에서 최신 기술 대비 제안된 방법의 정확도 및 속도는 어떻게 비교되는가?
• RQ5 다양한 유사도 가중치 및 임계값 전략이 추적 정확도 및 안정성에 어떤 영향을 미치는가?

주요 결과

• 12대 카메라에서 154 FPS, 28대 카메라에서 34 FPS의 성능을 달성하여 대규모 실생활 구현에 대한 확장성을 입증한다.
• 캠퍼스, 셸프, CMU 팬오틱 데이터셋에서 각각 96.63%, 96.58%, 96.49%의 최신 기술 수준의 PCP 점수를 확보하며 높은 연동 정확도를 보였다.
• 절단 분석 결과 3D 유사도가 성능에 핵심적임을 입증하였으며, 2D 유사도를 비활성화한 상태에서도 96.38%의 연동 정확도를 기록했다.
• 12~28대 카메라 뷰를 포함한 제안된 데이터셋은 기존 기준 벤치마크를 초월한 확장성 및 실생활 적용 가능성을 평가할 수 있도록 한다.
• 특히 음영이 많고 혼잡한 환경에서 이중 에피포라 제약 조건과 그래프 분할을 사용하는 베이스라인 방법에 비해 성능이 뛰어나다.
• 저프레임 레이트(예: 스토어 데이터셋에서 10 FPS)에서도 높은 정확도를 유지하여 시간적 변동에 대한 강인성을 입증한다.