[논문 리뷰] A Context-and-Spatial Aware Network for Multi-Person Pose Estimation

Dongdong Yu|arXiv (Cornell University)|2019. 05. 14.

Human Pose and Action Recognition참고 문헌 28인용 수 6

한 줄 요약

이 논문은 다중 인물 자세 추정을 위한 Context-and-Spatial Aware Network (CSANet)을 제안한다. 이 네트워크는 부분 인식 및 다중 수용장치 영역 맥락 모델링을 위한 Context Aware Path (CAP)와 공간 세부 정보를 유지하기 위한 Spatial Aware Path (SAP)를 통합하며, 적응형 융합을 위한 Heavy Head Path를 통해 결합된다. CSANet는 ResNet-152와 384×288 입력을 사용할 때 COCO 키포인트 벤치마크에서 74.5 AP를 기록하여 이전의 최고 성능 방법보다 최대 2.4 AP 향상시켰다.

ABSTRACT

Multi-person pose estimation is a fundamental yet challenging task in computer vision. Both rich context information and spatial information are required to precisely locate the keypoints for all persons in an image. In this paper, a novel Context-and-Spatial Aware Network (CSANet), which integrates both a Context Aware Path and Spatial Aware Path, is proposed to obtain effective features involving both context information and spatial information. Specifically, we design a Context Aware Path with structure supervision strategy and spatial pyramid pooling strategy to enhance the context information. Meanwhile, a Spatial Aware Path is proposed to preserve the spatial information, which also shortens the information propagation path from low-level features to high-level features. On top of these two paths, we employ a Heavy Head Path to further combine and enhance the features effectively. Experimentally, our proposed network outperforms state-of-the-art methods on the COCO keypoint benchmark, which verifies the effectiveness of our method and further corroborates the above proposition.

연구 동기 및 목표

• 다중 인물 자세 추정에서 혼잡하거나 가림을 겪는 복잡한 시나리오에서 키포인트를 정확하게 추정하는 과제를 해결하기 위해.
• 더 나은 키포인트 국소화를 위해 전역 맥락 정보와 세밀한 공간 세부 정보를 효과적으로 활용하기 위해.
• 상위 다운 자세 추정 파ip라인에서 맥락 이해와 공간 정밀도의 균형을 맞추는 통합된 딥 러닝 아키텍처를 설계하기 위해.
• 각각의 맥락 및 공간 모델링 경로와 그 적응형 융합의 효과를 검증하기 위해.

제안 방법

• 다양한 스케일의 맥락과 부분 인식 관계를 캡처하기 위해, 구조적 지도 학습과 Atrous Spatial Pyramid Pooling (ASPP)를 활용한 Context Aware Path (CAP)를 설계하였다.
• 낮은 수준의 공간 해상도를 유지하고 세밀한 공간 특징을 인코딩하여 국소화 정확도를 향상시키기 위해 Spatial Aware Path (SAP)를 설계하였다.
• 학습 가능한 컨볼루션 레이어와 특징 재조정을 사용하여 맥락 특징과 공간 특징 간의 적응형 특징 융합을 수행하는 Heavy Head Path (HHP)를 설계하였다.
• 인간 검출을 먼저 수행한 후 CSANet를 사용하여 키포인트 예측을 수행하는 상위 다운 파이프라인을 기반으로 엔드 투 엔드 방식으로 네트워크를 훈련시켰다.
• 아키텍처는 ResNet 백본을 사용하고, 차원 감소 및 특징 융합을 위해 1×1 컨볼루션을 적용하였다.
• 각 구성 요소(CAP, SAP, HHP)의 기여도를 검증하기 위해 추론 분석(ablation studies)를 실시하였다.

실험 결과

연구 질문

• RQ1 부분 인식 및 다중 수용장치 영역 맥락을 명시적으로 모델링하면, 가림되거나 혼잡한 장면에서의 키포인트 추정 성능이 향상되는가?
• RQ2 초기 단계에서 공간 해상도를 유지하면 세밀한 키포인트 검출의 국소화 정확도가 향상되는가?
• RQ3 맥락 및 공간 특징의 적응형 융합은 통합된 특징 학습보다 더 나은 성능을 낼 수 있는가?
• RQ4 기본 벤치마크인 COCO와 같은 표준 벤치마크에서 제안된 아키텍처는 최고 성능 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• ResNet-152와 384×288 입력을 사용할 때 CSANet는 COCO test-dev2017 데이터셋에서 74.5 AP를 기록하여 이전 SoTA 방법(CPN)보다 2.4 AP 높게 기록했다.
• 입력 크기가 384×288일 경우, CSANet는 SBN보다 1.9 AP 높은 성능을 기록하여 더 약한 인간 검출기 조건에서도 일관된 성능 향상을 보였다.
• ResNet-101과 384×288 입력을 사용할 경우 CSANet는 74.1 AP를 기록하여 표준 백본을 사용할 때도 뛰어난 성능을 보였다.
• 추론 분석 결과, Context Aware Path와 Spatial Aware Path 모두 성능 향상에 기여하며, Heavy Head Path는 융합 성능을 더욱 향상시킴을 확인했다.
• ResNet-50와 256×192 입력을 사용할 경우 CSANet는 71.9 AP를 기록하여 다양한 입력 해상도에서의 강건성을 입증했다.
• CMU-Pose, G-RMI, Mask R-CNN보다 큰 격차로 성능을 뛰어넘어, 도전적인 벤치마크에서의 효과성을 확인했다.