[논문 리뷰] Graph and Temporal Convolutional Networks for 3D Multi-person Pose Estimation in Monocular Videos

Yu Cheng, Bo Wang외 2명|arXiv (Cornell University)|2020. 12. 22.

Human Pose and Action Recognition참고 문헌 49인용 수 5

한 줄 요약

이 논문은 단일 영상에서 카메라 파arms가 필요 없이 강건한 3D 다인용 자세 추정을 위한 새로운 프레임워크를 제안한다. 그래프 컬러션 네트워크(GCNs)와 시간 컬러션 네트워크(TCNs)를 결합한 것으로, 방향성 있는 관절 및 뼈 GCN은 2D 자세 추정기의 신뢰도 점수를 활용해 가림되거나 누락된 신체 부위를 복구한다. 또한 관절-TCN, 속도-TCN, 루트-TCN 모듈은 시간적 일관성과 카메라 중심 자세 추정을 강화하여 MuPoTS-3D 및 Human3.6M 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Despite the recent progress, 3D multi-person pose estimation from monocular videos is still challenging due to the commonly encountered problem of missing information caused by occlusion, partially out-of-frame target persons, and inaccurate person detection. To tackle this problem, we propose a novel framework integrating graph convolutional networks (GCNs) and temporal convolutional networks (TCNs) to robustly estimate camera-centric multi-person 3D poses that do not require camera parameters. In particular, we introduce a human-joint GCN, which, unlike the existing GCN, is based on a directed graph that employs the 2D pose estimator's confidence scores to improve the pose estimation results. We also introduce a human-bone GCN, which models the bone connections and provides more information beyond human joints. The two GCNs work together to estimate the spatial frame-wise 3D poses and can make use of both visible joint and bone information in the target frame to estimate the occluded or missing human-part information. To further refine the 3D pose estimation, we use our temporal convolutional networks (TCNs) to enforce the temporal and human-dynamics constraints. We use a joint-TCN to estimate person-centric 3D poses across frames, and propose a velocity-TCN to estimate the speed of 3D joints to ensure the consistency of the 3D pose estimation in consecutive frames. Finally, to estimate the 3D human poses for multiple persons, we propose a root-TCN that estimates camera-centric 3D poses without requiring camera parameters. Quantitative and qualitative evaluations demonstrate the effectiveness of the proposed method.

연구 동기 및 목표

• 가림, 프레임 외부에 있는 사람, 정확하지 않은 검출로 인해 누락되거나 잘못된 자세 추정이 발생하는 단일 영상에서의 3D 다인용 자세 추정 문제를 해결한다.
• 카메라 캘리브레이션 파arms가 필요 없이 사람 중심 자세 추정의 한계를 극복하여 카메라 중심 3D 자세 추정을 가능하게 한다.
• 신뢰도 인식 방향성 그래프를 사용한 GCN에서 관절과 뼈 관계를 모델링하여 공간적 자세 복구를 향상시킨다.
• 운동 동역학과 속도를 모델링하는 시간 컬러션 네트워크를 통합하여 시간적 일관성과 가림에 대한 강건성을 향상시킨다.
• 특히 가림으로 인한 정보 누락을 다루는 데서 최신 기준 성능을 달성한다.

제안 방법

• 2D 자세 추정기의 신뢰도 점수를 간선 가중치로 사용하는 방향성 그래프 기반의 인간 관절 GCN을 도입하여, 신뢰도가 높은 관절 정보를 가림되거나 저신뢰도 관절으로 전파한다.
• 부분 유사도 필드 신뢰도 점수를 사용해 뼈 연결을 모델링하는 인간 뼈 GCN을 제안하여 관절 위치를 넘어서 보완적인 공간적 맥락을 제공한다.
• 관절-GCN과 뼈-GCN의 특징를 연결하여 피드포워드 완전 연결층에 입력하고, 프레임 단위로 사람 중심 3D 자세를 예측한다.
• 관절-TCN을 사용해 사람 중심 자세 시퀀스의 연속 프레임 간 상관관계를 모델링하여 시간적 매끄러움과 인간 운동 제약 조건을 강제한다.
• 과거 프레임의 관절 속도를 추정하는 속도-TCN을 도입하여 운동 사전 지식을 활용해 가림에 대한 강건성을 향상시킨다.
• 약한 투영 카메라 모델 기반의 루트-TCN을 개발하여 상대 깊이(Z/f)를 추정함으로써 카메라 중심 3D 자세를 예측함으로써 카메라 파arms가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 2D 자세 추정기의 신뢰도 점수를 통합한 방향성 그래프 기반 GCN은 3D 자세 추정에서 가림되거나 저신뢰도 관절의 공간 복구에 기여하는가?
• RQ2 뼈 수준의 관계는 관절 수준의 정보를 어떻게 보완하여 3D 자세 추정의 강건성을 향상시키는가?
• RQ3 시간 컬러션 네트워크는 단일 영상 시퀀스에서 자세 추정 정확도와 가림에 대한 강건성을 어느 정도 향상시키는가?
• RQ4 카메라 파arms가 필요 없이도 카메라 중심 3D 자세 추정을 달성할 수 있는가, 동시에 높은 정확도를 유지할 수 있는가?
• RQ5 가림 또는 프레임 외부에 있는 사람으로 인한 정보 누락을 다룰 때 제안된 프레임워크는 최신 기준 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• MuPoTS-3D 데이터셋에서 30.4 mm의 PA-MPJPE를 달성하여 원본 테스트 분할에서는 2위, 서브셋에서는 3위를 기록하며 뛰어난 일반화 능력을 입증한다.
• 원본 테스트 세트에서 서브셋으로의 성능 저하가 21.5 mm로 증가했으며, 상위 방법들이 보여준 29.7–30.6 mm의 증가보다 유의미하게 낮은 성능 격차를 보였다.
• Human3.6M 데이터셋에서 카메라 중심 자세 추정에 대해 88.1 mm의 MPRE를 달성하여 이전 최신 기준(120 mm)보다 31.9 mm 향상되어 다인용 맥락에서 뛰어난 성능을 보였다.
• 속도-TCN 모듈은 운동 동역학을 활용해 가림에 대한 강건성을 향상시켜, 운동 예측에 초점을 맞춘 덕분에 관절-TCN보다 누락 데이터 처리에서 뛰어난 성능을 보였다.
• 루트-TCN은 상대 깊이(Z/f)만을 사용해 카메라 중심 자세를 성공적으로 예측하여 카메라 캘리브레이션의 필요성을 제거하고 실세계 적용 가능성을 높였다.
• 정성적 결과는 전체 프레임워크가 다수의 사람 간 상대적 위치를 효과적으로 포착하고 기존 기준보다 더 잘 가림을 처리하며, 관절 위치 추정 오류를 줄이는 데 성공했다.