[논문 리뷰] Bottom-up approaches for multi-person pose estimation and it's applications: A brief review

Milan Kresović, Thong Duy Nguyen|arXiv (Cornell University)|2021. 12. 22.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 최근의 2D 및 3D 바닥에서부터의 다수 인물 자세 추정 방법을 검토하며, 실시간 응용 프로그램에서의 속도와 효율성에 중점을 둡니다. 주요 아키텍처를 분석하고 표준 데이터셋에서 성능을 평가하며, 가림 감지성과 자세의 모호성과 같은 한계를 밝혀내고, 향후 방향으로는 개선된 맥락 모델링, 효율적인 추론, 물리 기반 제약 조건을 통한 강건한 3D 추정을 제안합니다.

ABSTRACT

Human Pose Estimation (HPE) is one of the fundamental problems in computer vision. It has applications ranging from virtual reality, human behavior analysis, video surveillance, anomaly detection, self-driving to medical assistance. The main objective of HPE is to obtain the person's posture from the given input. Among different paradigms for HPE, one paradigm is called bottom-up multi-person pose estimation. In the bottom-up approach, initially, all the key points of the targets are detected, and later in the optimization stage, the detected key points are associated with the corresponding targets. This review paper discussed the recent advancements in bottom-up approaches for the HPE and listed the possible high-quality datasets used to train the models. Additionally, a discussion of the prominent bottom-up approaches and their quantitative results on the standard performance matrices are given. Finally, the limitations of the existing methods are highlighted, and guidelines of the future research directions are given.

연구 동기 및 목표

• 최신 2D 및 3D 바닥에서부터의 다수 인물 자세 추정 접근법에 대한 종합적인 개요를 제공하기 위해.
• AP 및 MPJPE와 같은 핵심 지표를 사용하여 표준 벤치마크에서 주요 바닥에서부터 방법의 성능을 평가하기 위해.
• 현재 바닥에서부터 방법의 핵심적 한계를 특정하기 위해, 특히 가림, 자세의 모호성, 3D 특징 인코딩 문제를 포함하여.
• 향후 연구를 이끌기 위해 열려 있는 문제들을 제시하고, 개선된 글로벌-로컬 맥락 모델링 및 향상된 시간적 안정성과 같은 방향을 제안하기 위해.
• 바닥에서부터와 상향식 파라다임을 비교하여, 실세계 구현에서 정확성과 추론 속도 사이의 상충 관계를 부각하기 위해.

제안 방법

• 바닥에서부터 방법은 단일 단계 검출기를 사용하여 입력 이미지 또는 영상에서 모든 인간 관절 후보를 먼저 검출합니다.
• 검출된 관절 후보들은 후처리 최적화 단계에서 연관 임베딩 또는 파트 친화성 필드를 사용하여 개별 인간 자세로 그룹화됩니다.
• 3D 자세 추정을 위해, XNect와 같은 방법은 초기에 관절 위치에서만 3D 자세 벡터를 인코딩하고 주변 픽셀으로 전파하여 인코딩 갈등을 줄입니다.
• MubyNet은 뼈대의 모든 픽셀 위치에서 3D 자세 벡터를 인코딩하여 특징 공간 갈등이 발생하고 성능이 열악해질 수 있습니다.
• 이 리뷰는 COCO, MPII, 3DPW와 같은 표준 데이터셋을 사용하여 키포인트 AP 및 평균 관절별 위치 오차(MPJPE)와 같은 지표를 적용하여 방법을 평가합니다.
• 향후 방법 설계는 효율적인 추론, 가림에 대한 강건성, 시간적 일관성을 확보하기 위한 물리적 운동 제약 조건 통합의 필요성에 의해 이끌립니다.

실험 결과

연구 질문

• RQ1 표준 벤치마크에서 바닥에서부터의 다수 인물 자세 추정 방법은 상향식 접근법에 비해 정확도와 추론 속도 측면에서 어떻게 비교되는가?
• RQ2 현재 바닥에서부터 방법의 주요 실패 케이스와 한계는 무엇인가요? 특히 혼잡하거나 가림이 있는 장면에서의 문제를 포함하여.
• RQ3 MubyNet과 같은 3D 바닥에서부터 방법은 왜 최적의 3D 특징 인코딩을 이루지 못하는가? XNect는 이를 어떻게 완화하는가?
• RQ4 로컬 및 글로벌 맥락은 자세 그룹화 향상과 잘못된 연결 오류 감소에 어떤 역할을 하는가?
• RQ5 실세계 구현에서의 강건성, 효율성, 일반화 능력을 향상시키기 위해 향후 연구 방향은 무엇인가요?

주요 결과

• 바닥에서부터 방법은 실시간 추론 속도를 달성하여, 자율 주행 및 감시와 같이 지연 시간이 낮아야 하는 응용 분야에 적합합니다.
• 더 빠른 추론에도 불구하고, 바닥에서부터 방법은 COCO와 같은 도전적인 벤치마크에서 상향식 방법에 비해 일반적으로 낮은 정확도를 보입니다.
• XNect는 관절 위치에서만 3D 벡터를 인코딩하고 이를 전파함으로써 3D 자세 추정에서 향상된 강건성을 보입니다. 이는 인코딩 갈등을 줄입니다.
• MubyNet의 전체 픽셀 3D 인코딩은 특징 공간의 모호성을 유발하고, 2D 자세 추정이 정확하지 않을 경우 특히 효과가 떨어집니다.
• 목의 가림은 XNect의 성능을 심각하게 떨어뜨리며, 신뢰할 수 있는 3D 추정을 위해 가시된 상체 관절에 의존하는 경향을 보입니다.
• 사람이 누락되거나, 비인간 물체에서 유사한 신호가 발생하는 등 실수 사례는 더 나은 맥락 모델링과 강력한 추적 기술의 필요성을 부각시킵니다.