[논문 리뷰] Learning Dynamics via Graph Neural Networks for Human Pose Estimation and Tracking

Yiding Yang, Zhou Ren외 4명|arXiv (Cornell University)|2021. 06. 07.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 시각적 검출에 의존하지 않고 과거 자세 트랙렛에서 인간 자세의 운동을 학습하는 그래프 신경망(GNN) 기반 방법을 제안한다. 이는 혼잡하거나 가림이 있는 환경에서도 견고한 자세 추정을 가능하게 한다. 예측된 운동을 검출된 자세와 융합함으로써, PoseTrack 2017 및 2018에서 최신 기술(SOTA)을 초월하는 성능을 달성하며, 놓친 검출 및 추적 전환을 크게 감소시킨다.

ABSTRACT

Multi-person pose estimation and tracking serve as crucial steps for video understanding. Most state-of-the-art approaches rely on first estimating poses in each frame and only then implementing data association and refinement. Despite the promising results achieved, such a strategy is inevitably prone to missed detections especially in heavily-cluttered scenes, since this tracking-by-detection paradigm is, by nature, largely dependent on visual evidences that are absent in the case of occlusion. In this paper, we propose a novel online approach to learning the pose dynamics, which are independent of pose detections in current fame, and hence may serve as a robust estimation even in challenging scenarios including occlusion. Specifically, we derive this prediction of dynamics through a graph neural network~(GNN) that explicitly accounts for both spatial-temporal and visual information. It takes as input the historical pose tracklets and directly predicts the corresponding poses in the following frame for each tracklet. The predicted poses will then be aggregated with the detected poses, if any, at the same frame so as to produce the final pose, potentially recovering the occluded joints missed by the estimator. Experiments on PoseTrack 2017 and PoseTrack 2018 datasets demonstrate that the proposed method achieves results superior to the state of the art on both human pose estimation and tracking tasks.

연구 동기 및 목표

• 시각적 단서가 없는 혼잡하거나 가림이 있는 환경에서 검출 기반 자세 추적의 한계를 해결하기 위해.
• 운동 흐릿함이나 가림으로 인한 시각 검출기 실패로 인한 놓친 검출 및 추적 전환을 줄이기 위해.
• 학습 가능한 GNN 기반 예측기로 인간 자세의 시간적 동역학을 모델링하여 자세 추적의 견고성을 향상시키기 위해.
• 자세 추정 성능을 향상시키기 위해 학습된 동역학을 통합한 통합적이고 엔드 투 엔드 미분 가능한 프레임워크를 제안하기 위해.

제안 방법

• 학습된 그래프 신경망(GNN)이 과거 자세 트랙렛에서 미래 자세를 예측하도록 하여 신체 관절 간의 공간-시간 관계를 모델링한다.
• GNN은 과거 자세의 시퀀스를 그래프로 처리하며, 노드는 관절을 나타내고, 엣지는 공간적 및 시간적 의존성을 표현한다.
• 현재 프레임의 시각적 검출에 의존하지 않고 자세 예측을 생성함으로써, 가림이나 운동 흐릿함 동안에도 견고성을 확보한다.
• 예측된 자세는 현재 프레임의 검출된 자세와 유연한 융합 메커니즘을 통해 융합되어 최종적으로 정제된 추정치를 도출한다.
• GNN은 관절 간 관계를 동적으로 가중치를 부여하기 위해 주목적 메커니즘을 사용하며, 학습된 주목적 가중치는 주요 관절 상호작용을 보여주도록 시각화된다.
• 전체 시스템은 엔드 투 엔드로 훈련되며, 관절 특징과 동역학 파rameter가 함께 최적화된다.

실험 결과

연구 질문

• RQ1 GNN 기반 모델은 현재 프레임의 시각적 검출에 의존하지 않고 과거 트랙렛에서 신뢰할 수 있는 자세 동역학을 학습하여 미래 자세를 예측할 수 있는가?
• RQ2 학습된 자세 동역학을 통합할 경우, 가림이나 운동 흐릿함과 같은 어려운 상황에서 성능 향상은 어떻게 이루어지는가?
• RQ3 메모리 길이와 모델 용량이 자세 예측의 정확도와 견고성에 미치는 영향은 무엇인가?
• RQ4 시각 검출과의 융합 방식이 기존의 검출 기반 추적 방식에 비해 추적 정확도와 안정성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 PoseTrack 2017 검증 세트에서 mAP 81.1과 MOTA 73.4를 기록하여 최신 기술(SOTA)을 초월한다.
• PoseTrack 2018에서의 성능은 mAP 69.2와 MOTA 69.2를 기록하여 자세 추정 및 추적 모두에서 뛰어난 성능을 보였다.
• 절단 분석 결과, GNN 예측 자세를 매칭 지표로 사용할 경우 전환률이 1.3%로 감소하고, IOU 및 OKS 기반 모델 대비 MOTA가 1.3 포인트 향상됨을 확인했다.
• 메모리 길이가 네 프레임을 초과하면 성능 포화 상태에 도달함을 확인하여, 이 이상의 윈도우 길이는 성능 향상에 기여하지 않는 것으로 나타났다.
• 주목적 가중치를 시각화한 결과, 엉덩이와 무릎과 같은 주요 관절이 예측에 중대한 영향을 미치며, 타당한 인간 운동 동역학을 반영하고 있음을 확인했다.
• 모델 크기를 증가시킬수록 mAP와 MOTA 모두 향상됨을 확인하여, 더 높은 용량이 복잡한 동역학을 학습하는 데 유리함을 입증했다.