[논문 리뷰] PoseTrack: Joint Multi-Person Pose Estimation and Tracking

Umar Iqbal, Anton Milan외 1명|arXiv (Cornell University)|2016. 11. 23.

Human Pose and Action Recognition참고 문헌 36인용 수 7

한 줄 요약

이 논문은 공간과 시간에 걸쳐 신체 관절 검출을 최적화하기 위해 시공간 정수선형계획문(ILP)을 사용하는 다중 인물 자세 추정 및 추적을 위한 통합 프레임워크를 제안한다. 방법은 밀도 있는 시공간 그래프 내에서 자세 궤적을 부분그래프로 모델링하여 가림, 단절, 변동하는 인원 수와 같은 문제에 강건하게 대응하며, 새로운 PoseTrack 데이터셋에서 MOTA 56.2% 및 mAP 56.2%의 최신 기준 성능을 달성한다.

ABSTRACT

In this work, we introduce the challenging problem of joint multi-person pose estimation and tracking of an unknown number of persons in unconstrained videos. Existing methods for multi-person pose estimation in images cannot be applied directly to this problem, since it also requires to solve the problem of person association over time in addition to the pose estimation for each person. We therefore propose a novel method that jointly models multi-person pose estimation and tracking in a single formulation. To this end, we represent body joint detections in a video by a spatio-temporal graph and solve an integer linear program to partition the graph into sub-graphs that correspond to plausible body pose trajectories for each person. The proposed approach implicitly handles occlusion and truncation of persons. Since the problem has not been addressed quantitatively in the literature, we introduce a challenging "Multi-Person PoseTrack" dataset, and also propose a completely unconstrained evaluation protocol that does not make any assumptions about the scale, size, location or the number of persons. Finally, we evaluate the proposed approach and several baseline methods on our new dataset.

연구 동기 및 목표

• 비제한적인 영상에서 다중 인물 자세 추정 및 추적에 대한 정량적 평가 부족과 통합 모델링의 부재를 해결하기 위해.
• 사전 검출된 바운딩 박스나 고정된 인원 수에 의존하지 않고, 동시에 자세 추정과 프레임 간 추적을 수행할 수 있는 방법을 개발하기 위해.
• 영상 시퀀스에서의 가림, 단절, 체형 변화, 빠른 운동과 같은 실제 환경 도전 과제를 다루기 위해.
• 사전에 알려진 인원 수, 크기, 위치를 가정하지 않는 새로운 벤치마크 데이터셋과 평가 프로토콜을 도입하기 위해.
• ILP 기반 분할을 통한 통합 최적화의 효과성을 입증하기 위해.

제안 방법

• 해당 방법은 프레임 간 신체 관절 검출 결과를 밀도 높은 시공간 그래프로 표현하며, 프레임 내에서 공간적으로 그리고 프레임 간 시간적으로 검출 결과를 연결한다.
• 자세 추정 및 추적 문제를 각 인물에 대한 유효한 자세 궤적을 생성하기 위해 그래프를 분할하는 정수선형계획문(ILP)으로 공식화한다.
• 물리적으로 타당한 자세 시퀀스를 보장하기 위해 공간적 전이성, 시간적 전이성 및 시공간 제약 조건을 ILP에 통합한다.
• 시간 창(τ = 3 또는 5) 내의 관절 후보 간 연결을 포함하며, 성능 향상을 위해 간선 밀도와 제약 조건 유형을 조정한다.
• 별도의 사람 검출기나 체형 추정이 필요 없이 검출, 연관성, 자세 일관성의 통합 최적화를 수행한다.
• 해결은 ILP 최적화를 통해 이루어지며, 단일 스레드 CPU에서 평균 프레임당 약 14.7초의 실행 시간을 기록한다.

실험 결과

연구 질문

• RQ1 비제한적인 영상에서 다중 인물 자세 추정 및 추적을 통합 공식으로 동시에 최적화할 수 있는가?
• RQ2 시간적 및 시공간 제약 조건의 포함 여부가 추적 및 자세 추정 정확도에 어떤 영향을 미치는가?
• RQ3 사전 검출 없이도 가림, 단절, 변동하는 인원 수를 얼마나 잘 처리할 수 있는가?
• RQ4 제안된 방법은 단일 프레임 자세 추정 및 추적 기준 방법과 비교해 어떻게 성능가능한가?
• RQ5 다양한 그래프 구성 전략(예: 간선 밀도, 시간 창 길이)이 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 PoseTrack 데이터셋에서 MOTA 56.2%를 달성하여 DeeperCut 및 LJPA와 같은 기준 방법들을 능가한다.
• 프레임 단위 다중 인물 자세 추정의 mAP는 56.2%를 기록하며, 별도의 사람 검출기가 필요한 방법들보다 뚜렷이 뛰어나다.
• 목과 어깨(HT:N:S)에 대한 시간적 연결을 포함함으로써 mAP는 34.3%에서 37.9%로 향상되며, 힙 관절까지 포함하면 추가로 성능 향상이 이루어진다.
• 공간 전이성 제약 조건을 제거하면 mAP가 3.5% 감소하고, 시간적 또는 시공간 제약 조건을 제거하면 각각 8% 이상, 10% 이상 감소한다.
• ILP 공식화가 그래프 분할을 통해 암묵적으로 이러한 문제를 모델링하므로, 심한 가림과 단절 상황에서도 우수한 성능를 발휘한다.
• 시공간 그래프의 구축 및 해법을 위한 평균 실행 시간은 단일 스레드 3.3GHz CPU에서 프레임당 14.7초이며, 평균 노드 수는 2084개, 시간 간선 수는 12,903개이다.