[논문 리뷰] Combining detection and tracking for human pose estimation in videos

Manchen Wang, Joseph Tighe외 1명|arXiv (Cornell University)|2020. 03. 30.

Human Pose and Action Recognition참고 문헌 34인용 수 5

한 줄 요약

이 논문은 짧은 영상 클립에서 관절 검출 및 추적을 동시에 수행하기 위해 3D 고해상도 네트워크(3D HRNet)와 검출된 인체 바운딩 박스의 시간적 전파를 조합한 새로운 상향식 접근법을 제안한다. 다양한 관절 가설 간의 공간-시간 일致를 활용하여 검출 오류를 보정하고, 기존 방법에 비해 PoseTrack 2017 및 2018에서 최신 기술 수준(SOTA) 성능을 달성하며, 관절 검출 오차를 28% 감소시키고 추적 오차를 9% 감소시켰다.

ABSTRACT

We propose a novel top-down approach that tackles the problem of multi-person human pose estimation and tracking in videos. In contrast to existing top-down approaches, our method is not limited by the performance of its person detector and can predict the poses of person instances not localized. It achieves this capability by propagating known person locations forward and backward in time and searching for poses in those regions. Our approach consists of three components: (i) a Clip Tracking Network that performs body joint detection and tracking simultaneously on small video clips; (ii) a Video Tracking Pipeline that merges the fixed-length tracklets produced by the Clip Tracking Network to arbitrary length tracks; and (iii) a Spatial-Temporal Merging procedure that refines the joint locations based on spatial and temporal smoothing terms. Thanks to the precision of our Clip Tracking Network and our merging procedure, our approach produces very accurate joint predictions and can fix common mistakes on hard scenarios like heavily entangled people. Our approach achieves state-of-the-art results on both joint detection and tracking, on both the PoseTrack 2017 and 2018 datasets, and against all top-down and bottom-down approaches.

연구 동기 및 목표

• 오염되거나 겹쳐진 개인에서 성능이 떨어지는 상향식 자세 추정의 한계를 해결하기 위해.
• 검출기가 사람을 놓쳤을 경우에도 시간적 일致성과 다중 프레임 추론을 활용해 자세 추정 정확도를 향상시키기 위해.
• 시간적 전파와 공동 가설 개선을 통해 검출기 실패를 복구할 수 있는 방법을 개발하기 위해.
• 상향식 및 하향식 접근 방식을 모두 초월하는 자세 검출 및 추적 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 짧은 영상 클립에서 신체 관절을 동시에 검출하고 추적하기 위해 초기 단계에서 3D 컨벌루션을 적용한 3D HRNet 기반의 클립 추적 네트워크.
• 시간적 연관성과 공간 일치성을 활용하여 겹치는 짧은 트랙릿을 융합해 장기적 개인 추적을 생성하는 비디오 추적 파이프라인.
• 다양한 관절 가설 간 공간적 근접성과 시간적 매끄러움을 강제하여 최적의 관절 위치를 선택하는 공간-시간 융합 절차.
• 검출에 실패한 프레임에서도 알려진 인체 바운딩 박스를 시간적으로 앞으로와 뒤로 전파하여 관절 예측을 위한 공간-시간 튜브를 생성하는 방법.
• 3D HRNet 아키텍처는 관절 간 시간적 대응을 학습하도록 설계되었으며, 분석 실험을 통해 초기 단계에서 3D 컨벌루션을 적용한 경우가 가장 우수한 성능을 보였다.
• 유연한 스텝 사이즈를 갖춘 关键 프레임 전략을 사용하여 추론 속도와 정확도의 균형을 맞추며, 더 적은 프레임 샘플링으로 선형적인 속도 향상을 달성했다.

실험 결과

연구 질문

• RQ1 오염 또는 운동 블러로 인해 검출기가 실패하는 영상에서 인체 검출의 시간적 전파가 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 짧은 영상 클립에서 관절 검출과 추적을 동시에 최적화하면 어려운 자세나 오염 상황에 대한 강건성을 향상시킬 수 있는가?
• RQ3 공동 가설 기반의 공간-시간 융합 절차가 개별 관절 가설의 잘못된 예측을 효과적으로 수정할 수 있는가?
• RQ4 특히 얽힌 상태와 같은 어려운 상황에서 상향식 접근 방식이 하향식 방법보다 얼마나 뛰어난 성능을 낼 수 있는가?
• RQ5 이 방법은 인체 검출기의 품질에 얼마나 민감한가? 그리고 시간적 추론을 통해 약한 검출기의 성능을 보완할 수 있는가?

주요 결과

• 제안된 방법은 PoseTrack 2017 및 2018에서 모두 최신 기술 수준 성능을 달성하였으며, 기존 상향식 방법 대비 관절 검출 오차를 28% 감소시켰다.
• PoseTrack 2018에서 추적 오차를 9% 감소시켜 기존의 모든 상향식 및 하향식 접근 방식을 능가하는 성능을 보였다.
• 초기 단계에서 3D 컨벌루션을 적용한 3D HRNet(‘Early’ 설계)가 가장 뛰어난 성능을 보였으며, 후기 단계나 완전 3D 아키텍처에 비해 우수한 성능을 보였다.
• 약한 MobileNet-V2 검출기를 사용할 경우에도 시간적 전파를 통해 최대 7% 더 많은 놓친 인체 검출을 복구할 수 있었다.
• 스텝 사이즈가 8일 경우, 모델은 매 8프레임마다만 사람 검출기를 실행하며, 12.5배의 속도 향상을 달성했고, mAP(78.9)와 MOTA(67.2)는 경쟁 가능한 성능을 유지했다.
• 공간-시간 융합 절차는 복잡한 장면에서의 오류(예: 엉덩이와 무릎이 엉킨 사람 간 교환)를 효과적으로 수정하여 강건성을 입증했다.