[논문 리뷰] Detect-and-Track: Efficient Pose Estimation in Videos

Rohit Girdhar, Georgia Gkioxari외 3명|arXiv (Cornell University)|2017. 12. 26.

Human Pose and Action Recognition인용 수 27

한 줄 요약

이 논문은 비디오에서 효율적인 인간 자세 추정 및 추적을 위한 이단계 방법인 Detect-and-Track을 제안한다. 3D 마스크 R-CNN을 사용해 짧은 클립에서 시간적 맥락을 활용하여 강력한 프레임 수준의 키포인트 예측을 수행한 후, 경량 허그리안 매칭을 통해 추적을 수행한다. 이 방법은 PoseTrack 검증 세트에서 55.2%의 MOTA, 테스트 세트에서 51.8%의 MOTA를 기록하며 최신 기술 수준(SOTA)을 달성하였고, 이전의 IP 기반 방법보다 237배 빠르게 작동한다.

ABSTRACT

This paper addresses the problem of estimating and tracking human body keypoints in complex, multi-person video. We propose an extremely lightweight yet highly effective approach that builds upon the latest advancements in human detection and video understanding. Our method operates in two-stages: keypoint estimation in frames or short clips, followed by lightweight tracking to generate keypoint predictions linked over the entire video. For frame-level pose estimation we experiment with Mask R-CNN, as well as our own proposed 3D extension of this model, which leverages temporal information over small clips to generate more robust frame predictions. We conduct extensive ablative experiments on the newly released multi-person video pose estimation benchmark, PoseTrack, to validate various design choices of our model. Our approach achieves an accuracy of 55.2% on the validation and 51.8% on the test set using the Multi-Object Tracking Accuracy (MOTA) metric, and achieves state of the art performance on the ICCV 2017 PoseTrack keypoint tracking challenge.

연구 동기 및 목표

• 복잡한 다인원 비디오에서 가림과 운동이 있는 상황에서도 정확하고 효율적인 인간 키포인트 추적 문제를 해결하기 위해.
• 2D 마스크 R-CNN의 3D CNN 확장 기법을 사용해 짧은 비디오 클립에서 시간적 맥락을 통합함으로써 프레임 수준의 키포인트 추정을 향상시키기 위해.
• 복잡한 최적화 기법 없이도 시간에 걸쳐 예측을 연결할 수 있는 확장성 있고 빠른 추적 파이프라인을 개발하기 위해.
• 프레임 수준의 예측과 허그리안 매칭을 사용해 향후 연구를 위한 강력하고 단순한 기준을 설정하기 위해.
• 키포인트 추정에서 시간 모델링이 추적 정확도를 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 이 방법은 이단계 파이프라인을 사용한다: 첫 번째 단계로 짧은 비디오 클립(T=3 프레임)에서 3D 마스크 R-CNN를 통해 키포인트 추정을 수행하고, 두 번째 단계로 중심 프레임 출력 결과를 바탕으로 경량 허그리안 매칭을 통해 추적을 수행한다.
• 3D 마스크 R-CNN는 2D 리스넷-18 및 마스크 R-CNN 가중치를 '평균' 또는 '중심' 초기화 방법을 사용해 시간적 일관성을 확보하기 위해 팽창시켜 구축한다.
• 모델은 슬라이딩 윈도우 방식으로 클립을 처리하여 프레임별 키포인트 위치를 가진 공간-시간 튜브를 생성한다.
• 프레임 수준의 예측은 최적의 할당을 통해 추적 비용을 최소화하는 허그리안 알고리즘을 사용해 시간에 걸쳐 연결된다. 이로 인해 계산 비용은 최소화된다.
• 복잡한 정수 프로그래밍이나 그래픽 모델을 피하기 때문에 높은 효율성을 유지하며, 비디오 길이에 따라 선형적으로 확장 가능하다.
• 이 방법은 포즈트랙 벤치마크에서 평가되었으며, 성능 비교를 위해 주로 mAP와 MOTA를 사용하였다.

실험 결과

연구 질문

• RQ1 짧은 비디오 클립에서의 시간적 맥락이 다인원 비디오에서 프레임 수준의 키포인트 추정 정확도를 향상시킬 수 있는가?
• RQ2 검출과 추적을 분리한 이단계 접근 방식이 종합 최적화 기반 방법보다 효율성과 확장성 면에서 더 우수한가?
• RQ3 동일한 기본 아키텍처와 해상도를 사용할 때, 3D 마스크 R-CNN는 2D 버전보다 키포인트 mAP와 MOTA에서 어떻게 비교되는가?
• RQ4 강력한 프레임 수준 예측과 결합했을 때, 허그리안 매칭과 같은 경량 추적 모듈이 복잡한 최적화 기반 추적기보다 우수한 성능을 낼 수 있는가?
• RQ5 긴 비디오에서 제안된 방법의 계산 효율성은 최신 기술 수준의 IP 기반 공식화 방식보다 어떻게 비교되는가?

주요 결과

• 동일한 리스넷-18 아키텍처와 256px 입력 해상도를 사용할 때, 3D 마스크 R-CNN 모델은 2D 베이스라인 대비 키포인트 mAP를 2% 향상시키고 MOTA를 1% 향상시켰다.
• 리스넷-101과 800px 입력 해상도를 사용한 2D 베이스라인은 더 높은 해상도와 모델 용량 덕분에 더 깊은 3D 모델들보다 최신 기술 수준 성능을 달성했다.
• 완전한 Detect-and-Track 파이프라인은 PoseTrack 검증 세트에서 55.2%의 MOTA, 테스트 세트에서 51.8%의 MOTA를 기록하여 ICCV 2017 도전 대회에서 새로운 최신 기술 수준을 수립했다.
• 100프레임 비디오에서 이 방법은 5.2분이 소요되며, 이는 이전 IP 기반 방법이 동일 작업에 16시간이 소요되었던 것에 비해 237배 빠른 속도이다.
• 실행 시간은 비디오 길이에 따라 선형적으로 증가하여, 비선형적으로 확장되는 IP 기반 솔버와는 달리 긴 비디오에 매우 확장 가능하다.
• 제거 분석 결과, 검출 단계에서의 시간 모델링이 가림과 운동 왜곡에 대한 강건성을 크게 향상시킨다는 것이 확인되었다.