[논문 리뷰] Deep Dual Consecutive Network for Human Pose Estimation

Zhenguang Liu, Haoming Chen외 5명|arXiv (Cornell University)|2021. 03. 12.

Human Pose and Action Recognition참고 문헌 51인용 수 11

한 줄 요약

이 논문은 운동 흐림, 가림, 초점 오차와 같은 도전적인 조건에서도 관键점 검출 성능을 향상시키기 위해 연속 영상 프레임에서 이중 방향 시간적 맥락을 활용하는 새로운 딥 듀얼 연속 네트워크인 DCPose를 제안한다. 포즈 시간 병합, 포즈 잔차 융합, 다중 확장 포즈 보정 네트워크를 통합함으로써, 상태 기반 성능을 달성하여 PoseTrack2017 및 PoseTrack2018 벤치마크에서 각각 1위를 차지하며 mAP 82.8을 기록하였다.

ABSTRACT

Multi-frame human pose estimation in complicated situations is challenging. Although state-of-the-art human joints detectors have demonstrated remarkable results for static images, their performances come short when we apply these models to video sequences. Prevalent shortcomings include the failure to handle motion blur, video defocus, or pose occlusions, arising from the inability in capturing the temporal dependency among video frames. On the other hand, directly employing conventional recurrent neural networks incurs empirical difficulties in modeling spatial contexts, especially for dealing with pose occlusions. In this paper, we propose a novel multi-frame human pose estimation framework, leveraging abundant temporal cues between video frames to facilitate keypoint detection. Three modular components are designed in our framework. A Pose Temporal Merger encodes keypoint spatiotemporal context to generate effective searching scopes while a Pose Residual Fusion module computes weighted pose residuals in dual directions. These are then processed via our Pose Correction Network for efficient refining of pose estimations. Our method ranks No.1 in the Multi-frame Person Pose Estimation Challenge on the large-scale benchmark datasets PoseTrack2017 and PoseTrack2018. We have released our code, hoping to inspire future research.

연구 동기 및 목표

• 이미지 기반 포즈 추정 모델이 영상 시퀀스에서 운동 흐림, 초점 오차, 가림 등의 조건에서 가지는 한계를 해결하기 위해.
• 연속 영상 프레임 간의 시간적 의존성을 명시적으로 모델링하여 관건점 검출의 강인성을 향상시키기 위해.
• 낮은 품질 또는 가림이 있는 영상 프레임에서 RNN 및 광학 흐름 기반 방법의 단점을 보완하기 위해.
• 과거 및 미래 프레임의 시공간적 신호를 효과적으로 융합하여 정교한 포즈 추정을 수행할 수 있는 프레임워크를 설계하기 위해.

제안 방법

• 포즈 시간 병합(PTM) 네트워크는 그룹 컨볼루션을 사용하여 3개의 연속 프레임에서의 관건점 히트맵을 통합하여 공간적 맥락이 향상된 국소화 검색 범위를 생성한다.
• 포즈 잔차 융합(PRF) 모듈은 시간 거리에 기반한 가중치를 적용하여 프레임 간 관건점 오프셋을 계산함으로써 과거 및 미래 프레임을 모두 활용한 이중 방향 보정을 가능하게 한다.
• 포즈 보정 네트워크(PCN)는 증가하는 확장률(d ∈ {3,6,9,12,15})을 가진 5개의 병렬 확장 컨볼루션을 적용하여 국소화 검색 범위 내의 히트맵을 재샘플링함으로써 다중 척도 맥락을 캡처한다.
• 이 프레임워크는 엔드 투 엔드로 훈련되며, 이중 방향 시간 모델링과 동적 잔차 융합을 통합함으로써 PoseWarper 아키텍처를 확장한다.
• 보조 프레임에 대한 진짜 레이블이 필요 없이, 비라벨링된 인접 프레임을 활용하여 현재 프레임의 예측을 개선한다.
• PCN에서 다중 확장률을 사용함으로써 효과적이고 확장된 수신 필드가 증가하여 국소 및 전반적인 공간적 의존성을 더 잘 모델링할 수 있다.

Figure 1: An illustration of our Pose Temporal Merger (PTM) network. (a): Original video sequence in the datasets, and we aim to detect poses in the current frame ${F}_{c}$ . (b): Each person in the original video sequence is assembled to a cropped clip and a single-person joints detector gives prel

실험 결과

연구 질문

• RQ1 연속 영상 프레임에서의 이중 방향 시간 모델링이 운동 흐림 및 가림 상황에서 관건점 검출의 강인성을 향상시킬 수 있는가?
• RQ2 과거 및 미래 프레임의 포즈 잔차를 통합할 경우 단일 방향 또는 단일 프레임 방법에 비해 추정 정확도에 어떤 영향을 미치는가?
• RQ3 보정 네트워크에서의 다중 확장 컨볼루션은 다양한 공간 맥락에서 국소화 정밀도를 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 도전적인 조건에서 대규모 영상 포즈 추정 벤치마크에서 기존 최고 성능 모델을 초월하는가?

주요 결과

• DCPose는 PoseTrack2018 벤치마크에서 mAP 82.8을 기록하여 멀티프레임 인체 포즈 추정 챌린지에서 1위를 차지하였다.
• 제거 실험 결과에서 과거 또는 미래 프레임 입력을 제거할 경우 각각 mAP가 0.6과 0.5 감소하여 이중 방향 시간 모델링의 가치를 확인하였다.
• 포즈 보정 네트워크에서 확장률을 증가시킬수록 mAP는 81.7(d=3)에서 82.8(d∈{3,6,9,12,15})로 지속적으로 향상되어 다중 척도 맥락 모델링의 유용성을 입증하였다.
• 시간 간격이 커지면 성능이 저하되었으며, T=1일 때 mAP 82.8에서 T=2,3,4일 때 mAP 81.7로 감소하여 짧은 간격 내에서 시간 일관성의 가정이 타당함을 검증하였다.
• 시각적 비교 결과, DCPose는 SimpleBaseline, HRNet-W48, PoseWarper보다 빠른 운동, 가림, 초점 오차 상황에서 뛰어난 성능을 보였다.
• 이 방법은 이미지 기반 모델이 시간 맥락이 부족하여 실패하는 자기 가림 및 다수 인물 간 상호작용 상황에서도 효과적으로 대응할 수 있었다.

Figure 2: Overall pipeline of our DCPose framework. The goal is to locate the keypoint positions for the current frame ${F}_{c}$ . First, an individual person $i$ is assembled into an input sequence $\mathbf{Clip}_{i}(p,c,n)$ , and a HRNet backbone predicts initial keypoint heatmaps $\mathbf{h}_{i}(