[논문 리뷰] Learning Delicate Local Representations for Multi-Person Pose Estimation

Yuanhao Cai, Zhicheng Wang외 8명|arXiv (Cornell University)|2020. 03. 09.

Human Pose and Action Recognition참고 문헌 32인용 수 37

한 줄 요약

이 논문은 효율적인 intra-level 특징 융합을 통해 미세한 로컬 표현을 학습하는 Residual Steps Network(RSN)과 로컬/글로벌 출력 특징의 균형을 맞추는 Pose Refine Machine(PRM)을 제시하여 추가 데이터 없이 COCO와 MPII에서 최첨단 성과를 달성합니다.

ABSTRACT

In this paper, we propose a novel method called Residual Steps Network (RSN). RSN aggregates features with the same spatial size (Intra-level features) efficiently to obtain delicate local representations, which retain rich low-level spatial information and result in precise keypoint localization. Additionally, we observe the output features contribute differently to final performance. To tackle this problem, we propose an efficient attention mechanism - Pose Refine Machine (PRM) to make a trade-off between local and global representations in output features and further refine the keypoint locations. Our approach won the 1st place of COCO Keypoint Challenge 2019 and achieves state-of-the-art results on both COCO and MPII benchmarks, without using extra training data and pretrained model. Our single model achieves 78.6 on COCO test-dev, 93.0 on MPII test dataset. Ensembled models achieve 79.2 on COCO test-dev, 77.1 on COCO test-challenge dataset. The source code is publicly available for further research at https://github.com/caiyuanhao1998/RSN/

연구 동기 및 목표

• Motivation: 같은 특징 레벨 내에서 미세한 로컬 공간 정보를 보존함으로써 키포인트 위치 추정 개선.
• Goal: 다중 인물 자세 추정을 위해 더 풍부한 로컬 표현을 학습하기 위한 intra-level 특징 융합 제안.
• Aim: 지역적 특징과 전역적 신호의 균형을 맞추기 위한 출력 특징 재가중 메커니즘(PRM) 설계로 키포인트 정확도 향상.
• Demonstrate that RSN+PRM achieves state-of-the-art results on COCO and MPII without extra data or pretrained models.

제안 방법

• Residual Steps Block(RSB) 내부에서 조밀한 원소별 합으로 intra-level 특징을 융합하기 위해 Residual Steps Network(RSN) 제안.
• RSB는 특징을 네 개의 가지로 분리하고 conv1x1 및 점진적 conv3x3를 적용한 뒤, 조밀한 연결로 융합하여 수용 영역 커버리지를 최대 15까지 늘린다.
• 출력 단계에서 주의 모듈로서 PRM을 도입하여 채널과 공간 주의 경로를 통한 다경로 설계를 사용해 로컬/글로벌 표현을 재균형한다.
• PRM은 전역 풀링 경로(채널 단위)와 깊이별 9x9 경로(공간) plus 아이덴티티 경로를 사용해 f_out = K(f_in) ⊗ (1 + β ⊗ α)를 계산한다.
• COCO 및 MPII에서 RSN+PRM를 훈련 및 평가하고, ResNet, Res2Net, DenseNet 베이스라인 및 HRNet 패밀리와 비교한다.
• RSN이 유사 GFLOPs에서 베이스라인보다 더 나은 성능을 달성하고, 효율적이면서도 정확한 키포인트 로컬라이제이션을 제공함을 보인다.

실험 결과

연구 질문

• RQ1 동일 해상도 내의 intra-level 융합이 더 섬세한 로컬 표현을 향상시켜 키포인트 위치 추정을 개선할 수 있는가？
• RQ2 주Attention 기반 재가중(PRM)이 로컬 대 글로벌 특징 사이의 균형을 적절히 조정하여 포즈 추정 정확도를 높이는가？
• RQ3 RSN은 COCO 및 MPII에서 DensityNet, Res2Net, OSNet과 비교했을 때 정확도, 효율성, 로컬화 품질에서 어떤 차이가 있는가？
• RQ4 PRM은 단일 단계와 다중 단계 아키텍처 모두에서 이점이 있으며 SE-CBAM 같은 표준 주의 모듈을 대체할 때도 효과적인가？
• RQ5 RSN의 CPU/GPU에서의 속도/성능 트레이드오프는 HRNet과 비교하여 어떤가？

주요 결과

• RSN은 유사 GFLOPs에서 ResNet 및 Res2Net보다 일관되게 AP를 향상시킨다(예: RSN-18 +2.9 AP vs ResNet-18, RSN-50 +2.5 AP vs ResNet-50).
• RSN은 모델 용량이 커질수록 DenseNet 및 Res2Net보다 효율성을 유지하며, 더 큰 GFLOPs에서 더 높은 AP를 유지한다.
• PRM은 단일 단계 및 다중 단계 네트워크에서 성능을 향상시키며 비-주목 baselines 대비 AP 증가를 제공한다(예: ResNet-18+PRM +1.5 AP).
• COCO test-dev에서 RSN-50 4x로 RSN-50 단일 모델이 78.0 AP를 달성하고 384x288 입력에서 RSN-50 앙상블로 79.2 AP를 달성하며 프리트레인 백본 없이.
• MPII에서 RSN은 4x RSN-50로 최첨단 93.0% PCKh@0.5 평균을 달성한다.
• RSN은 유사 정확도에서 HRNet보다 추론 속도가 빠르며 GPU에서 더 높은 퀄리티의 pps와 CPU 성능에서도 더 우수하다.