[논문 리뷰] Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views

Junting Dong, Wen Jiang외 3명|arXiv (Cornell University)|2019. 01. 14.

Human Pose and Action Recognition참고 문헌 40인용 수 34

한 줄 요약

이 논문은 다중 뷰에서 탐지된 2D 포즈를 컨벡스 다중-방향 매칭과 주기 일관성으로 클러스터링한 뒤, 각 클러스터에 대해 3D 포즈를 3D 그림 구조(3DPS) 또는 삼각측량으로 재구성하는 빠르고 강건한 다중 뷰 파이프라인을 제시한다. 또한 appearance와 geometric cues를 활용해 뷰 간 매칭을 개선하고 평가 데이터에 대해 학습 없이 Campus와 Shelf 데이터셋에서 최첨단 PCP를 달성한다.

ABSTRACT

This paper addresses the problem of 3D pose estimation for multiple people in a few calibrated camera views. The main challenge of this problem is to find the cross-view correspondences among noisy and incomplete 2D pose predictions. Most previous methods address this challenge by directly reasoning in 3D using a pictorial structure model, which is inefficient due to the huge state space. We propose a fast and robust approach to solve this problem. Our key idea is to use a multi-way matching algorithm to cluster the detected 2D poses in all views. Each resulting cluster encodes 2D poses of the same person across different views and consistent correspondences across the keypoints, from which the 3D pose of each person can be effectively inferred. The proposed convex optimization based multi-way matching algorithm is efficient and robust against missing and false detections, without knowing the number of people in the scene. Moreover, we propose to combine geometric and appearance cues for cross-view matching. The proposed approach achieves significant performance gains from the state-of-the-art (96.3% vs. 90.6% and 96.9% vs. 88% on the Campus and Shelf datasets, respectively), while being efficient for real-time applications.

연구 동기 및 목표

• 다중 뷰 설정에서 모든 사람에 대해 3D 관절 추정의 복잡성을 줄이기 위해 관절 3D 추론을 피한다.
• Appearance 및 기하학적 단서를 모두 사용하여 2D 포즈의 뷰 간 대응에 사이클 일관성을 확립한다.
• 강건한 2D 포즈 매칭 이후 각 인물에 대해 효율적으로 3D 포즈를 추정하여 실시간 또는 거의 실시간 성능을 가능하게 한다.
• 사람의 수를 알 수 없고 누락/불완전 검출을 Convex 최적화 프레임워크를 통해 처리한다.

제안 방법

• 각 뷰에서 기존 검출기(Cascaded Pyramid Network)로 2D 포즈를 검출한다.
• Appearance 특징(재식별 디스크립터)과 기하학적 일치성(에피폴라 제약)을 결합하여 뷰 간 경계 상자 간 친화도를 구성한다.
• 다중-방향 매칭을 사이클 일관성을 갖는 컨벡스 최적화로 형상화한다: -<A,P> + λ*rank(P)를 핵 노름 이완과 ADMM으로 최소화하고, Cross-view 대응을 나타내는 P를 출력한다.
• 하나의 전역 매칭을 사용하여 사이클 일관성을 강제하고, 잘못된 검출을 제거하며 실제 인원 수를 알 필요가 없도록 한다.
• 일치한 2D 포즈를 이용해 3D 포즈를 재구성한다. Skeletal priors가 있는 3D Pictorial Structures(3DPS) 또는 이점이 있을 때 단순 삼각측량을 사용하며, 군집화를 통해 3DPS 상태 공간을 줄인다.

실험 결과

연구 질문

• RQ1 다중 뷰에서 노이즈가 있거나 불완전한 검출이 있을 때 2D 포즈의 뷰 간 대응을 어떻게 강건하게 확립할 수 있는가?
• RQ2 Appearance 단서와 기하학적 제약을 결합하는 것이 다중 뷰 3D 포즈 추정에서 기하학적 제약만 사용하는 것보다 뷰 간 매칭을 향상시키는가?
• RQ3 사이클-일관성 제약과 저랭크 이완이 사람 수를 알지 못해도 검출의 정확하고 확장 가능한 다중 뷰 클러스터링을 제공하는가?
• RQ4 매칭 기반 클러스터링이 3D 포즈 재구성(3DPS 또는 삼각측량)의 효율성과 정확성에 어떤 영향을 미치는가? 특히 혼잡한 장면에서?

주요 결과

데이터셋	배우 1	배우 2	배우 3	평균
Campus	97.6	93.3	98.0	96.3
Shelf	98.8	94.1	97.8	96.9

• 제시된 다중-방향 매칭 방법은 사이클 일관성 덕분에 뷰 간 대응과 강건성을 크게 향상시키고 3D 포즈 추정을 더 잘 가능하게 한다.
• Appearance과 기하학적 단서를 결합한 것이 매칭의 친화도 점수를 단독으로 사용할 때보다 우수하며, 특히 가림 또는 유사한 외관을 가진 사람들 사이에서 더 강력하다.
• 매칭으로 2D 포즈를 클러스터링하면 3DPS 상태 공간이 축소되어 추론이 빨라지고 카메라 수가 적을 때 강건성이 향상된다.
• Campus(평균 96.3) 및 Shelf(평균 96.9) 데이터셋에서 다수의 비교기준 baselines 대비 최첨단 PCP를 달성한다.
• 실시간 성능이 가능하다: 4-5 뷰에서 3DPS 모델 없이도 >20 fps, 재식별은 약 25 ms, 매칭은 20 ms, 3D 포즈 추정은 60 ms가 테스트에서 소요된다.