[논문 리뷰] LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking

Guanghan Ning, Heng Huang|arXiv (Cornell University)|2019. 05. 07.

Human Pose and Action Recognition참고 문헌 29인용 수 11

한 줄 요약

LightTrack는 뼈대 기반 자세 매칭을 위한 시아모이즈 그래프 컨volution 네트워크(SGCN)를 사용하여 단일 인원 자세 추적과 다중 인원 신원 연동을 통합하는 일반적이고 실시간인 온라인 상향식 프레임워크를 제안한다. 이는 포즈 추론을 제외한 47.11 fps의 높은 프레임 레이트를 유지하면서도 기존 온라인 방법을 초월하고 오프라인 SOTA 수준에 육박하는 최신 기술 성능을 달성한다.

ABSTRACT

In this paper, we propose a novel effective light-weight framework, called LightTrack, for online human pose tracking. The proposed framework is designed to be generic for top-down pose tracking and is faster than existing online and offline methods. Single-person Pose Tracking (SPT) and Visual Object Tracking (VOT) are incorporated into one unified functioning entity, easily implemented by a replaceable single-person pose estimation module. Our framework unifies single-person pose tracking with multi-person identity association and sheds first light upon bridging keypoint tracking with object tracking. We also propose a Siamese Graph Convolution Network (SGCN) for human pose matching as a Re-ID module in our pose tracking system. In contrary to other Re-ID modules, we use a graphical representation of human joints for matching. The skeleton-based representation effectively captures human pose similarity and is computationally inexpensive. It is robust to sudden camera shift that introduces human drifting. To the best of our knowledge, this is the first paper to propose an online human pose tracking framework in a top-down fashion. The proposed framework is general enough to fit other pose estimators and candidate matching mechanisms. Our method outperforms other online methods while maintaining a much higher frame rate, and is very competitive with our offline state-of-the-art. We make the code publicly available at: https://github.com/Guanghan/lighttrack.

연구 동기 및 목표

• 진정으로 온라인이며 효율적이고 정확한 상향식 인간 자세 추적 프레임워크의 부족을 해결한다.
• 일반적이고 모듈러한 시스템에서 단일 인원 자세 추적과 다중 인원 신원 연동을 통합한다.
• 자세의 뼈대 구조를 활용하여 강력한 자세 매칭을 위한 계산적으로 효율적인 Re-ID 모듈을 개발한다.
• 다른 대부분의 오프라인 방법과 달리 미래 프레임 정보에 의존하지 않고 실시간 성능을 보장한다.
• 미래 확장성을 위한 교환 가능한 포즈 추정기와 매칭 메커니즘을 지원하는 유연한 프레임워크를 구축한다.

제안 방법

• 첫 번째 프레임에서 인간 후보자를 검출하고 가변적인 단일 인원 자세 추정기를 사용해 추적하는 상향식, 온라인 자세 추적 프레임워크를 도입한다.
• 경계 상자 일관성을 유지하고 데이터 연동 부담을 줄이기 위해 명시적인 인간 관절 특징을 사용한다.
• 자세 유사도를 계산해 Re-ID에 사용하는 시아모이즈 그래프 컨volution 네트워크(SGCN)를 제안한다.
• 시각적 특징 추출에 비해 계산 비용을 줄이고 카메라 드리프트에 더 강건한 뼈대 기반 표현을 적용한다.
• 실시간 추적에서 처리 오버헤드를 최소화하기 위해 키 프레임에서만 SGCN을 사용해 데이터 연동을 수행한다.
• 모듈러한 설계를 통해 자세 추정기와 매칭 모듈의 교체가 가능하게 하여 성능 또는 속도 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정확도와 프레임 레이트를 유지하면서도 진정으로 온라인인 일반적인 상향식 자세 추적 프레임워크를 설계할 수 있는가?
• RQ2 자세 매칭에서 뼈대 기반 그래픽 표현이 신원 혼동을 줄이고 카메라 드리프트를 다루는 데 얼마나 효과적인가?
• RQ3 실시간 제약 조건 하에서 기존의 시각적 Re-ID 모듈에 비해 시아모이즈 그래프 컨볼루션 네트워크(SGCN)가 자세 추적에서 더 우수한 성능을 낼 수 있는가?
• RQ4 이 프레임워크의 모듈러리티가 구성 요소 교체를 통해 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 온라인 방법은 정확도와 속도 측면에서 최신 기술 오프라인 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• LightTrack는 PoseTrack 데이터셋에서 기존의 모든 온라인 자세 추적 방법을 능가하며, CPN101를 사용할 경우 72.4 / 66.3 mAP/MOTA, MSRA152를 사용할 경우 73.3 / 66.4 mAP/MOTA를 달성한다.
• 프레임워크는 포즈 추론을 제외한 47.11 fps의 높은 프레임 레이트를 기록하여 다른 온라인 방법보다 뚜렷하게 빠르다.
• SGCN Re-ID 모듈은 뼈대의 구조적 일관성을 활용해 시각적 유사성과 카메라 드리프트로 인한 오분류를 줄인다.
• 뼈대 기반 표현은 계산적으로 효율적이며, 평균적으로 쌍당 자세 매칭에 2.9ms가 소요된다.
• 경량 구성 요소를 사용할 때에도 높은 정확도를 유지하여 YOLOv3와 MobileNetv1-deconv를 사용할 경우 2 fps에서 70.4 mAP와 55.7% MOTA를 달성한다.
• 절단 분석 결과, 검출 성능 향상이 직접적으로 MOTA 향상으로 이어지며, 더 나은 구성 요소를 사용할 경우 프레임워크의 확장성과 유연성이 입증된다.