[논문 리뷰] ArtTrack: Articulated Multi-person Tracking in the Wild

Eldar Insafutdinov, Mykhaylo Andriluka외 5명|arXiv (Cornell University)|2016. 12. 05.

Human Pose and Action Recognition참고 문헌 8인용 수 19

한 줄 요약

ArtTrack는 시간적 추론과 효율적인 시공간적 제안어bolt 그룹화를 활용하여, 흐린 영상에서 인물 간의 관절 연결을 고려한 빠른 하향식 접근 방식을 통해 다중 인물의 관절 추적을 실현한다. 이는 MPII Video Pose 및 We Are Family 데이터셋에서 최신 기준 성능을 달성하면서도 기존 방법 대비 24배 빠르게 작동한다.

ABSTRACT

In this paper we propose an approach for articulated tracking of multiple people in unconstrained videos. Our starting point is a model that resembles existing architectures for single-frame pose estimation but is substantially faster. We achieve this in two ways: (1) by simplifying and sparsifying the body-part relationship graph and leveraging recent methods for faster inference, and (2) by offloading a substantial share of computation onto a feed-forward convolutional architecture that is able to detect and associate body joints of the same person even in clutter. We use this model to generate proposals for body joint locations and formulate articulated tracking as spatio-temporal grouping of such proposals. This allows to jointly solve the association problem for all people in the scene by propagating evidence from strong detections through time and enforcing constraints that each proposal can be assigned to one person only. We report results on a public MPII Human Pose benchmark and on a new MPII Video Pose dataset of image sequences with multiple people. We demonstrate that our model achieves state-of-the-art results while using only a fraction of time and is able to leverage temporal information to improve state-of-the-art for crowded scenes.

연구 동기 및 목표

• 장애물, 빠른 움직임, 다양한 외형 변화가 있는 흐린 영상에서 관절이 연결된 다중 인물 추적 문제 해결
• 사람 수가 알려지지 않은 혼잡한 장면에서 종단 간 모델의 한계를 극복
• 시간과 공간적으로 관절 간 연결 관계를 함께 고려하여 추적 정확도 향상
• 고정밀도를 유지하면서도 계산 비용을 줄이는 효율적인 추론 프레임워크 개발
• 실제로 혼잡한 장면에서 관절 추적을 평가하기 위한 새로운 벤치마크 데이터셋, MPII Video Pose 제작

제안 방법

• 필수적인 공간적 연결만 포함한 희소한 신체 부위 관계 그래프를 사용해 계산량 감소
• 유연한 순방향 전파 컨볼루션 네트워크를 학습시켜 관절-사람 간 연결 예측을 수행하여 대부분의 추론을 반복 최적화에서 분리
• 상향식 탐지 헤드를 통해 프레임별로 신체 부위 제안어를 생성하고, 시공간적 그래프 분할을 통해 통합
• 한 제안어당 한 사람만 포함되며 상호 간 인물 간 배제 조건을 강제하는 공동 할당 문제로 추적 문제 정식화
• 추적 일관성 향상을 위해 탐지 거리, 딥 특징 매칭, SIFT 기반 유사도와 같은 시간적 특징 통합
• 효율적인 추론을 위한 국소 조합 최적화 적용으로 실시간 성능 확보

실험 결과

연구 질문

• RQ1 희소하고 빠른 추론 모델이 관절이 연결된 다중 인물 추적에서 완전히 연결된 모델을 능가할 수 있는가?
• RQ2 순방향 전파 관절-사람 연결 예측이 장애물과 복잡한 장면에서 얼마나 효과적인가?
• RQ3 시간 모델링이 혼잡하고 흐린 영상에서 추적 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 하향식 접근 방식이 사람 수가 알려지지 않은 장면과 강한 장애물이 있는 장면에 일반화될 수 있는가?
• RQ5 기하학적 특징, 외형 특징, SIFT 유사도 등 다양한 시간적 특징이 추적의 안정성에 얼마나 기여하는가?

주요 결과

• 제안된 새로운 MPII Video Pose 데이터셋에서 ArtTrack는 시간적 특징을 활용한 단일 프레임 기반 베이스라인 대비 1.5% 향상된 73.1% AP 달성
• We Are Family 데이터셋에서 TD/BU 모델은 DeeperCut 대비 5.7% AP 향상, 특히 손목과 팔꿈치 등 도전적인 부위에서 뛰어난 성능 기록
• 최신 기준 방법 대비 24배 빠른 속도를 기록하면서도 유사하거나 더 높은 정확도 유지
• 딥매치 및 SIFT-거리와 같은 시간적 특징이 빠른 움직임과 배경 변화 상황에서 성능 향상에 크게 기여
• 명시적 상향식 추론과 시간적 전파를 통해 부분적으로 가려진 사지(예: 뒷다리)를 성공적으로 재구성
• 완전히 연결된 모델과 경쟁 가능한 성능을 달성하면서도 추론 비용을 크게 감소시킨 희소 그래프 모델 성능 확보