[논문 리뷰] A survey of top-down approaches for human pose estimation

Thong Duy Nguyen, Milan Kresovic|arXiv (Cornell University)|2022. 02. 05.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 논문은 2016년 이후 2D 인간 자세 추정을 위한 상향식 딥러닝 접근법에 대한 종합적인 서베이를 제공하며, 먼저 객체 검출기를 통해 사람을 검출한 후 바운딩 박스 내에서 관절 자세를 추정하는 이단계 파이프라인에 초점을 맞춘다. 최신 기술 모델인 CPN은 다단계 보정과 다중 수용장치 특징 융합을 통해 정확도를 향상시키며, COCO test-dev에서 73.0 AP를 달성한다.

ABSTRACT

Human pose estimation in two-dimensional images videos has been a hot topic in the computer vision problem recently due to its vast benefits and potential applications for improving human life, such as behaviors recognition, motion capture and augmented reality, training robots, and movement tracking. Many state-of-the-art methods implemented with Deep Learning have addressed several challenges and brought tremendous remarkable results in the field of human pose estimation. Approaches are classified into two kinds: the two-step framework (top-down approach) and the part-based framework (bottom-up approach). While the two-step framework first incorporates a person detector and then estimates the pose within each box independently, detecting all body parts in the image and associating parts belonging to distinct persons is conducted in the part-based framework. This paper aims to provide newcomers with an extensive review of deep learning methods-based 2D images for recognizing the pose of people, which only focuses on top-down approaches since 2016. The discussion through this paper presents significant detectors and estimators depending on mathematical background, the challenges and limitations, benchmark datasets, evaluation metrics, and comparison between methods.

연구 동기 및 목표

• 2016년 이후 딥러닝 기반 상향식 접근법을 활용한 2D 인간 자세 추정에 대한 상세한 리뷰를 제공하는 것.
• 상향식 파ragm에서 주요 객체 검출기 및 자세 추정기의 수학적 기초, 아키텍처 및 워크플로우를 분석하는 것.
• AP, PCK, PCP와 같은 표준 벤치마크 및 평가 지표를 사용하여 최신 기술 방법을 평가하고 비교하는 것.
• 특히 가림되거나 검출이 어려운 관절을 포함한 다수의 사람 자세 추정에서의 주요 과제와 한계를 규명하는 것.
• 상향식 자세 추정 분야의 초보자 연구자들이 기초 자료로 활용할 수 있도록 상향식 자세 추정 분야의 발전을 통합하는 것.

제안 방법

• 논문은 사람 검출을 먼저 수행하는 객체 검출기를 사용하고, 그 다음에 각 검출된 바운딩 박스 내에서 관절 추정을 수행하는 이단계 상향식 프레임워크를 리뷰한다.
• CPN(Cascaded Pyramid Network)과 같은 모델을 분석하며, 이는 두 단계 아키텍처를 사용한다: 초기 관절 예측을 위한 GlobalNet과 어려운 관절을 보정하기 위한 RefineNet.
• RefineNet은 다중 수준 특징 융합과 잔차 연결을 활용하여 다양한 수용장치를 통해 맥락 정보를 통합함으로써, 가림되거나 모호한 관절의 국소화를 향상시킨다.
• 이 방법은 컨volutional 네트워크가 생성한 히트맵에서 관절 위치를 예측하는 히트맵 기반 회귀를 활용한다.
• RefineNet은 어려운 관절, 즉 가림되거나 보이지 않는 관절에 집중하기 위해 온라인 하드 관절 마이닝을 통합한다.
• 심층 네트워크를 안정적으로 훈련시키고 기울기 전파를 가능하게 하기 위해 잔차 블록에서 아이덴티티 스킵 연결을 사용한다.

실험 결과

연구 질문

• RQ1 2016년 이후 상향식 딥러닝 방법은 아키텍처 및 성능 측면에서 2D 인간 자세 추정에 어떻게 발전해 왔는가?
• RQ2 가림되거나 보이지 않는 관절과 같은 어려운 관절 검출을 향상시키기 위해 최신 기술 상향식 모델에서 취한 주요 설계 선택은 무엇인가?
• RQ3 AP, PCK, PCP와 같은 다양한 평가 지표는 벤치마크 데이터셋에서 상향식 자세 추정 모델의 성능를 어떻게 반영하는가?
• RQ4 특히 붐비는 장면과 겹치는 사람을 다룰 때 상향식 접근법의 주요 한계는 무엇인가?
• RQ5 특징 융합 전략과 다중 수용장치 모델링은 CPN과 같은 모델에서 관절 국소화를 어떻게 향상시키는가?

주요 결과

• CPN 모델은 COCO test-dev 데이터셋에서 평균 정밀도(AP) 73.0을 기록했으며, test-challenge 세트에서는 72.1을 기록하여 COCO 2016 관절 추정 도전 대회 결과인 60.5보다 19% 향상된 성능를 보였다.
• RefineNet에서 다중 수준 특징 맵을 사용함으로써 오른쪽 어깨, 왼쪽 무릎, 오른쪽 엉덩이와 같이 자주 가림되거나 질감이 낮은 관절의 검출이 크게 향상되었다.
• RefineNet에 잔차 연결과 아이덴티티 매핑을 통합함으로써 심층 네트워크의 효과적인 backpropagation와 안정적인 훈련이 가능해졌으며, 이는 성능 향상에 기여했다.
• 다중 해상도 특징 융합을 통한 히트맵 기반 회귀는 모호하거나 가려진 관절의 국소화를 다룰 때 직접 회귀보다 우수한 성능를 보였다.
• 온라인 하드 관절 마이닝과 맥락 인식 특징 융합을 결합한 이단계 상향식 파이프라인은 COCO와 같은 다수의 사람 데이터셋에서 강력한 성능를 보였다.
• AP와 PCKh(PCK를 토시 높이로 정규화한 값)와 같은 평가 지표는 특히 다수의 사람 자세 추정 설정에서 자세 추정 정확도를 정량화하는 데 효과적이었다.