[논문 리뷰] Pose Flow: Efficient Online Pose Tracking

Yuliang Xiu, Jiefeng Li외 3명|arXiv (Cornell University)|2018. 02. 03.

Advanced Vision and Imaging인용 수 26

한 줄 요약

이 논문은 비제약 조건의 영상에서 다중 인원 자세 추적 성능을 햖थ기 위해 공간-시간 자세 흐름을 활용하는 효율적인 온라인 자세 추적 방법인 Pose Flow를 제안한다. 글로벌 최적화 기반의 Pose Flow 빌더와 흐름 인식 Non-Maximum Suppression(PF-NMS)를 도입함으로써, PoseTrack 챌린지 검증 세트에서 58.3% MOTA 및 66.5% mAP의 최신 기준 성능을 달성하면서도, 검출된 자세에 대한 실시간 10 FPS 추론을 유지한다.

ABSTRACT

Multi-person articulated pose tracking in unconstrained videos is an important while challenging problem. In this paper, going along the road of top-down approaches, we propose a decent and efficient pose tracker based on pose flows. First, we design an online optimization framework to build the association of cross-frame poses and form pose flows (PF-Builder). Second, a novel pose flow non-maximum suppression (PF-NMS) is designed to robustly reduce redundant pose flows and re-link temporal disjoint ones. Extensive experiments show that our method significantly outperforms best-reported results on two standard Pose Tracking datasets by 13 mAP 25 MOTA and 6 mAP 3 MOTA respectively. Moreover, in the case of working on detected poses in individual frames, the extra computation of pose tracker is very minor, guaranteeing online 10FPS tracking. Our source codes are made publicly available(https://github.com/YuliangXiu/PoseFlow).

연구 동기 및 목표

• 비제약 조건의 영상에서 가림, 잘림, 운동 흐림 등으로 인해 단일 프레임 자세 추정이 불안정해지는 문제를 해결한다.
• 프레임 간 자세 흐름을 통해 시간적 일관성을 확보하여 추적의 강건성과 정확도를 향상시킨다.
• 기존 자세 추정 파ip라인에 추가적인 계산 부담을 최소화하면서 온라인 실시간 자세 추적을 가능하게 한다.
• 공간-시간적 맥락을 활용해 시간적으로 분리된 자세 흐름을 재연결함으로써 임의의 양성 및 추적 ID 전환을 줄인다.

제안 방법

• 다양한 프레임 간 자세를 일관된 자세 흐름으로 연결하기 위해 온라인 최적화 프레임워크를 사용하는 Pose Flow 빌더(PF-Builder)를 제안하며, 잠재적 흐름 전반의 신뢰도를 최대화한다.
• 개별 검출이 아닌 자세 흐름을 대상으로 작동하는 Pose Flow Non-Maximum Suppression(PF-NMS)를 도입하여 시간적 일관성을 유지하고 중복을 줄인다.
• 운동 신호를 활용해 상하좌우로 상자 전파를 수행하는 운동 유도 상자 전파(DMGP)를 적용하여 누락된 검출을 복구한다.
• 온라인 하드 예외 샘플 마이닝을 통해 허리와 발목과 같이 감지하기 어려운 관절의 정확도를 향상시키기 위해 개선된 딥 프로포절 생성기(iDPG)를 활용한다.
• 짧은 영상 클립에 슬라이딩 윈도우를 적용하여 반복적으로 자세 흐름을 구축함으로써 온라인 처리 및 확장성을 확보한다.
• 모듈러하고 일반화 가능한 추적기 아키텍처를 설계하여, 프레임별 검출이 가능한 다양한 자세 추정기와 호환 가능하도록 한다.

실험 결과

연구 질문

• RQ1 자세 흐름 구축을 위한 글로벌 최적화 기반 접근 방식이 탐욕적 또는 IoU 기반 매칭에 비해 추적 강건성을 향상시킬 수 있는가?
• RQ2 흐름 인식 NMS는 얼마나 효과적으로 중복된 자세 흐름을 줄이고 시간적으로 분리된 트랙을 재연결할 수 있는가?
• RQ3 자세 흐름을 통한 공간-시간적 맥락 통합이 가림이나 운동 흐림과 같은 도전적인 조건에서 추적 성능을 향상시키는 데 기여하는가?
• RQ4 제안된 추적기가 기존 최신 기준 방법보다 뛰어나면서도 실시간 성능(10 FPS)을 유지할 수 있는가?
• RQ5 PF-Builder, PF-NMS, DMGP, iDPG 각 모듈이 전체 추적 성능에 기여하는 개별 기여도는 얼마인가?

주요 결과

• 제안된 Pose Flow 추적기는 PoseTrack 챌린지 검증 세트에서 58.3% MOTA 및 66.5% mAP를 달성하여 기존 최신 기준 방법보다 mAP 13점, MOTA 25점 향상시켰다.
• 테스트 세트에서는 51.0% MOTA 및 63.0% mAP를 기록하여, 미리 보지 않은 데이터에 대한 강력한 일반화 능력과 강건성을 입증했다.
• PF-NMS만으로도 기본 IoU-트래커 대비 mAP 1.9점, MOTA 2.5점 향상시켜 중복 제거 및 분리된 흐름 재연결의 효과를 입증했다.
• 절단 분석 결과, PF-Builder와 PF-NMS가 함께 크게 기여하며, PF-Builder만으로도 IoU-트래커 기준 MOTA가 2.5% 향상됨을 확인했다.
• 검출된 자세에 대한 추론 속도는 10 FPS를 유지하며, 프레임당 추가로 약 100ms의 계산 부담만 발생시켜 실시간 응용에 적합하다.
• iDPG와 DMGP 모듈은 각각 관절 정확도 향상과 검출 재현율 향상에 기여하여 mAP 1.1점, MOTA 0.5점 향상에 기여했다.