[논문 리뷰] Recent Advances in Monocular 2D and 3D Human Pose Estimation: A Deep Learning Perspective

Wu Liu, Qian Bao외 2명|arXiv (Cornell University)|2021. 04. 23.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 종합 검토는 2014년에서 2021년까지 단안 2차원 및 3차원 인간 자세 추정에 대한 종합적이고 통합된 딥러닝 관점을 제공하며, 최신 기법들을系통적으로 분류하고, 가림, 깊이 모호성 등의 과제를 분석하며, 자세 표현, 벤치마크, 향후 연구 방향에 대한 통찰을 제공하고, 3차원 자세 처리를 위한 공개된 코드 도구상자를 제공한다.

ABSTRACT

Estimation of the human pose from a monocular camera has been an emerging research topic in the computer vision community with many applications. Recently, benefited from the deep learning technologies, a significant amount of research efforts have greatly advanced the monocular human pose estimation both in 2D and 3D areas. Although there have been some works to summarize the different approaches, it still remains challenging for researchers to have an in-depth view of how these approaches work. In this paper, we provide a comprehensive and holistic 2D-to-3D perspective to tackle this problem. We categorize the mainstream and milestone approaches since the year 2014 under unified frameworks. By systematically summarizing the differences and connections between these approaches, we further analyze the solutions for challenging cases, such as the lack of data, the inherent ambiguity between 2D and 3D, and the complex multi-person scenarios. We also summarize the pose representation styles, benchmarks, evaluation metrics, and the quantitative performance of popular approaches. Finally, we discuss the challenges and give deep thinking of promising directions for future research. We believe this survey will provide the readers with a deep and insightful understanding of monocular human pose estimation.

연구 동기 및 목표

• 2D 관절 검출과 3D 자세 추정 사이의 격차를 메우는 단일한 2D에서 3D에 이르는 통합적 관점을 제공한다.
• 통합 프레임워크 기반으로 네트워크 아키텍처, 감독 전략, 과제 정의에 따라 2D 및 3D 자세 추정을 위한 주류 딥러닝 기반 접근법을 체계적으로 분류하고 분석한다.
• 데이터 부족, 2D-3D 모호성, 복잡한 다중 인물 시나리오와 같은 핵심 과제를 다룬다.
• 주요 자세 표현 방식, 벤치마크 데이터셋, 평가 지표, 주요 기법들 간의 정량적 성능을 요약한다.
• 열려 있는 과제를 식별하고, 약한 감독 학습 및 3차원 환경 상호작용 모델링과 같은 유망한 향후 연구 방향을 제안한다.

제안 방법

• 네트워크 아키텍처, 감독 전략, 과제 정의 기반으로 2D 및 3D 자세 추정을 위한 딥러닝 기반 기법들을 통합된 프레임워크로 분류하고 통합한다.
• 2D 및 3D 자세 추정 접근법 간의 내재적 연관성과 차이점을 분석하며, 3D 예측을 위한 중간 표현으로서 2D의 역할을 강조한다.
• 히트맵, 관절 좌표, 3D 메시 기반 표현 방식과 같은 다양한 자세 표현 형식을 검토하고 비교한다.
• COCO, MPII, Human3.6M, 3DPW와 같은 벤치마크 데이터셋을 조사하고, OKS, PCK, MPJPE와 같은 표준 지표를 사용해 성능을 평가한다.
• 다단계 추론, 다중 과제 학습, 신체 모델 피팅(SMPL 등)과 같은 고급 기법을 도입하고 논의하여 3차원 형태 및 자세 복원 성능을 향상시킨다.
• 3차원 자세 데이터 처리를 위한 공개된 코드 도구상자를 제공하여 재현 가능성과 커뮤니티 내 추가 연구를 지원한다.

실험 결과

연구 질문

• RQ1 아키텍처, 감독 방식, 표현 방식 측면에서 가장 영향력 있는 딥러닝 기반 2D 및 3D 인간 자세 추정 기법들 간의 관계는 어떠한가?
• RQ2 특히 깊이 모호성, 가림, 다중 인물 상호작용 측면에서 단안 3차원 자세 추정의 핵심 과제는 무엇인가?
• RQ3 히트맵, 3차원 좌표, SMPL 매개변수 등 다양한 자세 표현 방식이 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 현행 벤치마크와 평가 지표는 실제 성능 및 내성에 대한 반영에 어떤 한계를 지니는가?
• RQ5 약한 감독 학습, 3차원 환경 인식 모델링, 가상 디지털 인간 생성과 같은 향후 연구 방향 중 어떤 것이 분야 발전에 가장 유망한가?

주요 결과

• 이 검토는 2D 자세 추정을 3D 자세 예측을 위한 중간 단계로 활용하는 통합 프레임워크로의 강한 추세를 규명하며, 정확도와 내성에 크게 기여한다.
• 최신 기법들은 COCO 및 MPII와 같은 벤치마크에서 높은 성능을 달성하며, 최상위 모델은 COCO에서 95% 이상의 OKS를 기록하고, Human3.6M에서는 20 mm 이하의 MPJPE를 달성한다.
• 3D 신체 모델(SMPL 등)을 딥 네트워크와 통합함으로써 엔드 투 엔드 3차원 형태 및 자세 추정이 가능해지며, 특히 제약 없는 환경에서 효과적이다.
• 가림과 상호 인원 간 상호작용로 인해 다중 인물 3차원 자세 추정은 여전히 도전 과제이며, 대부분의 기법들이 2D 검출을 전제로 하여 실시간 성능에 제약을 받는다.
• 전신, 다중 에이전트, 환경 수준의 상호작용를 포함한 대규모로 완전히 애너테이션 처리된 3차원 데이터셋의 부족은 3차원 자세 추정 기술 발전의 주요 장애물이다.
• 약한 감독 학습, 합성 데이터 생성, 3차원 환경 인식 모델링과 같은 향후 방향은 데이터 부족 문제를 극복하고 일반화 성능을 향상시키는 데 핵심적일 것으로 판단된다.