[논문 리뷰] Human Pose Estimation with Spatial Contextual Information

Hong Zhang, Hao Ouyang외 5명|arXiv (Cornell University)|2019. 01. 07.

Human Pose and Action Recognition참고 문헌 54인용 수 63

한 줄 요약

논문은 Cascade Prediction Fusion (CPF)와 Pose Graph Neural Network (PGNN)를 제시하여 인간 자세 추정에 공간 맥락 정보를 활용하고 MPII와 LSP에서 추가 계산 없이 최첨단 성능을 달성한다.

ABSTRACT

We explore the importance of spatial contextual information in human pose estimation. Most state-of-the-art pose networks are trained in a multi-stage manner and produce several auxiliary predictions for deep supervision. With this principle, we present two conceptually simple and yet computational efficient modules, namely Cascade Prediction Fusion (CPF) and Pose Graph Neural Network (PGNN), to exploit underlying contextual information. Cascade prediction fusion accumulates prediction maps from previous stages to extract informative signals. The resulting maps also function as a prior to guide prediction at following stages. To promote spatial correlation among joints, our PGNN learns a structured representation of human pose as a graph. Direct message passing between different joints is enabled and spatial relation is captured. These two modules require very limited computational complexity. Experimental results demonstrate that our method consistently outperforms previous methods on MPII and LSP benchmark.

연구 동기 및 목표

• 포즈 추정에서 공간 맥락 정보의 중요성을 동기 부여한다.
• 보조 스테이지 예측 및 관절 관계를 활용하기 위한 경량 모듈을 제안한다.
• CPF와 PGNN의 엔드투 엔드 학습 가능성을 일반적인 포즈 네트워크에서 보여준다.
• 제한된 계산 오버헤드로 MPII와 LSP에서 정확도를 개선한다.

제안 방법

• Cascade Prediction Fusion (CPF): 초기 스테이지의 보조 예측을 점진적으로 프라이어로 융합하여 후속 스테이지 예측을 안내한다.
• PGNN (Pose Graph Neural Network): 관절을 간선 기반 메시지 전달을 통해 공간 관계를 포착하는 그래프 노드로 모델링한다.
• 그래프 구성: 노드는 관절; 간선은 이웃 관절 관계를 인코딩; 트리 및 루피 그래프 구조를 지원한다.
• 업데이트 메커니즘: 에지 가중치를 공유하지 않는 게이트드 GRU 유사 업데이트를 사용한 병렬 노드 업데이트; 새로운 메시지와 기억(memory)를 결합한다.
• 훈련: 예측 맵에 대한 L2 손실로 엔드-투-엔드; 시간 확장을 위한 BPTT를 사용하되 공간 구조 학습에 중점을 둔다.
• Backbone 호환성: CPF와 PGNN을 ResNet-50 (FPN 및 dilation conv로 수정) 및 Hourglass 백본에 적용한다.

실험 결과

연구 질문

• RQ1 CPF를 통한 공간 맥락 정보를 도입해 자세 추정 스테이지 간 정교화를 어떻게 개선하는가?
• RQ2 그래프 기반 신경망(PGNN)이 관절 간 공간 관계를 효과적으로 모델링하고 전파하여 위치 추정을 개선할 수 있는가?
• RQ3 MPII와 LSP에서 서로 다른 백본 네트워크에 대해 CPF와 PGNN가 일관된 성능 향상을 제공하는가?

주요 결과

방법	헤드	어깨	팔꿈치	손목	엉덩이	무릎	발목	평균
Pishchulin et al. [36]	74.3	49.0	40.8	34.1	36.5	34.4	35.2	44.1
Tompson et al. [46]	95.8	90.3	80.5	74.3	77.6	69.7	62.8	79.6
Carreira et al. [5]	95.7	91.7	81.7	72.4	82.8	73.2	66.4	81.3
Tompson et al. [45]	96.1	91.9	83.9	77.8	80.9	72.3	64.8	82.0
Hu & Ramanan [21]	95.0	91.6	83.0	76.6	81.9	74.5	69.5	82.4
Pishchulin et al. [37]	94.1	90.2	83.4	77.3	82.6	75.7	68.6	82.4
Lifshitz et al. [29]	97.8	93.3	85.7	80.4	85.3	76.6	70.2	85.0
Gkioxari et al. [18]	96.2	93.1	86.7	82.1	85.2	81.4	74.1	86.1
Rafi et al. [39]	97.2	93.9	86.4	81.3	86.8	80.6	73.4	86.3
Insafutdinov et al. [23]	96.8	95.2	89.3	84.4	88.4	83.4	78.0	88.5
Wei et al. [50]	97.8	95.0	88.7	84.0	88.4	82.8	79.4	88.5
Chu et al. [13]	98.5	96.3	91.9	88.1	90.6	88.0	85.0	91.5
Chou et al. [10]	98.2	96.8	92.2	88.0	91.3	89.1	84.9	91.8
Chen et al. [7]	98.1	96.5	92.5	88.5	90.2	89.6	86.0	91.9
Yang et al. [52]	98.5	96.7	92.5	88.7	91.1	88.6	86.0	92.0
Newell et al. [35]	98.2	96.3	91.2	87.1	90.1	87.4	83.6	90.9
ResNet-ours	98.2	96.4	91.6	87.1	91.2	88.0	83.6	91.2
Hg-ours	98.6	97.0	92.8	88.8	91.7	89.8	86.6	92.5

• CPF는 초기 스테이지 예측을 사용하여 이후 스테이지 예측에 정보를 제공함으로써 측정 가능한 개선을 가져온다.
• PGNN은 관절 간 직접 메시지 전달과 구조화된 공간 관계 학습을 통해 추가 이득을 제공한다.
• CPF와 PGNN의 조합은 MPII의 PCKh@0.5에서 새로운 최첨단 성능을 달성하고 LSP에서 최소한의 매개변수 및 FLOP 오버헤드로 경쟁력 있는 결과를 보여준다.
• 트리형 및 루피 PGNN 구조 모두 비슷한 개선을 보여 그래프 토폴로지에 대한 강건성을 시사한다.
• 전파 단계는 작은 수(T≈3) 이후 감소하는 수익을 보이며, 처음 두 단계가 정확도에 가장 크게 기여한다.
• 백본 실험에서 ResNet-50과 Hourglass 모두 CPF와 PGNN의 이점을 보이며, Hourglass는 MPII에서 92.5% PCKh에 도달한다.