[논문 리뷰] A Review on Human Pose Estimation

Rohit Josyula, Sarah Ostadabbas|arXiv (Cornell University)|2021. 10. 13.

Human Pose and Action Recognition참고 문헌 36인용 수 13

한 줄 요약

이 리뷰는 컴퓨터 시각 분야의 인간 자세 추정(HPE)에 대한 종합적인 개요를 제공하며, Pictorial Structures 및 유연한 혼합 모델(Flexible Mixture-of-Parts)과 같은 전통적 방법과, 컨volution 뉘런럴 네트워크 기반의 접근 방식인 컨볼루션 퍼스 머신(CPM)을 포함한다. 2D 및 3D HPE에 대해 신체, 얼굴, 손 모odalities의 평가 지표, 데이터셋 및 벤치마크를 평가하며, 주요 기여 사항으로는 표준의 체계적 분류, 성능 지표의 세부 분석, 최신 모델 및 오픈소스 구현의 체계적 서베이를 포함한다.

ABSTRACT

The phenomenon of Human Pose Estimation (HPE) is a problem that has been explored over the years, particularly in computer vision. But what exactly is it? To answer this, the concept of a pose must first be understood. Pose can be defined as the arrangement of human joints in a specific manner. Therefore, we can define the problem of Human Pose Estimation as the localization of human joints or predefined landmarks in images and videos. There are several types of pose estimation, including body, face, and hand, as well as many aspects to it. This paper will cover them, starting with the classical approaches to HPE to the Deep Learning based models.

연구 동기 및 목표

• 컴퓨터 시각 분야의 전통적 및 딥 러닝 기반 인간 자세 추정(HPE) 접근 방식에 대한 체계적인 리뷰 제공.
• HPE 연구에서 사용되는 주요 성능 지표, 표준 및 평가 프로토콜의 분석 및 비교.
• 신체, 얼굴, 손 모달리티에 걸쳐 2D 및 3D HPE를 위한 주요 데이터셋을 분류 및 요약.
• 단일 이미지에서 영상 기반 자세 추정으로의 알고리즘 진화를 분석하며, 아키텍처 혁신을 포함.
• 실제 연구 및 응용에 활용하기 위한 최신 모델 및 오픈소스 구현을 정리하고 평가.

제안 방법

• 그래픽 모델을 사용해 공간적 및 외관 제약 조건을 갖춘 신체 부위를 모델링하는 전통적 HPE 기법인 Pictorial Structures 및 Flexible Mixture-of-Parts(FMP)를 조사.
• 히트맵과 컨텍스트 모델링을 통해 키포인트 예측을 정밀화하는 다단계 컨볼루션 네트워크를 사용하는 딥 러닝 프레임워크인 컨볼루션 퍼스 머신(CPM) 분석.
• 2D 및 3D 키포인트 정렬 정확도에 중점을 두고, 평균 평균 정밀도(mAP), PCK, MPJPE와 같은 표준 평가 지표를 사용해 성능 평가.
• 모달리티(2D/3D), 신체 부위(신체, 얼굴, 손), 입력 유형(이미지 대비 영상) 기반으로 HPE 시스템을 분류하며, 아키텍처 및 데이터 파이프라인의 차이점에 중점을 둔다.
• 단일 이미지 및 영상 기반 HPE를 위한 GitHub 레포지토리 및 모델 구현을 체계적으로 정리하며, 모델 아키텍처, 입력 처리 및 학습 프로토콜을 포함.
• 모달리티 및 애너테이션 유형 기반으로 데이터셋을 매핑하며, 2D/3D 키포인트 애너테이션을 포함하고 스케일 및 다양성(예: COCO, MPII, 300W, FreiHand, WFLW)을 평가.

실험 결과

연구 질문

• RQ1 Pictorial Structures 및 FMP와 같은 전통적 접근 방식은 인간 신체의 관절 운동을 어떻게 모델링하며, 음영 및 변형에 대한 한계는 무엇인가?
• RQ2 특히 컨볼루션 퍼스 머신 같은 모델에서, 전통적 방법에서 딥 러닝 기반 HPE로의 전환을 가능하게 한 아키텍처 혁신은 무엇인가?
• RQ3 mAP, PCK, MPJPE와 같은 다양한 평가 지표는 2D 및 3D 자세 추정 작업에서 HPE 모델의 성능를 어떻게 반영하는가?
• RQ4 신체, 얼굴, 손 자세 추정 벤치마크 간의 데이터셋 설계, 애너테이션 품질 및 스케일의 주요 차이는 무엇인가?
• RQ5 영상 기반 HPE 모델은 단일 이미지 방법 대비 시간적 컨텍스트를 어떻게 활용하여 정확도를 향상시키는가?

주요 결과

• Pictorial Structures 및 FMP와 같은 전통적 방법은 HPE의 기초를 마련했지만, 음영, 변형성 및 전역적 컨텍스트 부족으로 인해 한계를 보였으며, 이로 인해 딥 러닝의 도입이 이루어졌다.
• 컨볼루션 퍼스 머신(CPM)은 스택드 아워게이트 모듈과 히트맵을 활용해 다단계로 구성된 완전 미분 가능한 딥 러닝 프레임워크를 도입하여 키포인트 정렬 정확도를 향상시켰다.
• COCO 데이터셋에서 최신 아키텍처인 HRNet 및 SimpleBaseline를 사용한 2D 신체 자세 추정 최신 모델은 mAP 점수 70% 이상를 달성한다.
• 3D HPE 모델인 VoxelPose 및 GAST-Net은 다중 시점 감독 및 시간적 모델링을 활용해 Human3.6M에서 MPJPE 오차가 100mm 이하로 저감되어 강력한 일반화 능력을 보였다.
• 3D 손 자세 추정 분야에서는 Hand3D 및 깊이 기반 증강 기법(예: HandAugment)을 사용한 모델이 FreiHand 및 Panoptic-Hands1.0에서 중앙 오차 20mm 이하를 달성했다.
• 영상 기반 HPE 모델인 VideoPose3D 및 DetectAndTrack는 시간적 일관성과 순환 또는 3D-CNN 모델링을 활용해 진동을 줄이고 정확도 및 강인성을 향상시켜 더 높은 성능을 보였다.