[논문 리뷰] Cascaded Pyramid Network for 3D Human Pose Estimation Challenge

Sungeun Hong, Wonjin Jung외 2명|arXiv (Cornell University)|2018. 10. 03.

Human Pose and Action Recognition참고 문헌 7인용 수 3

한 줄 요약

이 논문은 2단계 3D 인간 자세 추정 프레임워크를 제안하며, 강력한 2D 관절 검출을 위한 연결 피라미드 네트워크(CPN)와 잔차 블록 기반의 2D에서 3D로의 리프팅 네트워크를 사용한다. 이 방법은 ECCV 2018 PoseTrack 검증 세트에서 평균 관절 위치 오차(MPJPE) 42.39를 기록하여, 가림된 관절을 보다 잘 다루는 도전적인 단안 3D 자세 추정에서 뛰어난 성능을 보였다.

ABSTRACT

Over the past decade, there has been a growing interest in human pose estimation. Although much work has been done on 2D pose estimation, 3D pose estimation has still been relatively studied less. In this paper, we propose a top-bottom based two-stage 3D estimation framework. GloabalNet and RefineNet in our 2D pose estimation process enable us to find occluded or invisible 2D joints while 2D-to-3D pose estimator composed of residual blocks is used to lift 2D joints to 3D joints effectively. The proposed method achieves promising results with mean per joint position error at 42.39 on the validation dataset on `3D Human Pose Estimation within the ECCV 2018 PoseTrack Challenge.'

연구 동기 및 목표

• 단안 RGB 영상에서 3D 인간 자세 추정의 과제를 해결하며, 특히 가림되거나 보이지 않는 2D 관절을 다루는 데 초점한다.
• 2D 자세를 먼저 추정한 다음 이를 3D로 리프팅하는 2단계 파이프라인을 통해 3D 자세 추정 정확도를 향상시킨다.
• 학습 데이터(Human3.6M)와 테스트 데이터(PoseTrack) 간 척도 차이에 대응하기 위해 코너 및 리사이징(CR) 모듈을 통해 강건성을 향상시킨다.
• 배치 정규화와 최대 노름 제약 조건을 사용한 잔차 블록을 활용해 2D에서 3D로의 리프팅 네트워크를 최적화하여 안정적인 훈련을 확보한다.
• ECCV 2018 PoseTrack 3D 인간 자세 추정 도전 대회에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전체-하부 CPN 아키텍처를 사용하여 GlobalNet과 RefineNet을 통해 2D 관절을 검출하며, GlobalNet은 피처 피라미드 네트워크와 중간 감독을 사용해 공간적 및 의미적 정보를 유지한다.
• RefineNet에 온라인 하드 관절 검출 마이닝 손실을 적용하여 다중 수준 피처를 통합함으로써 가림되거나 보이지 않는 관절의 추정 성능을 향상시킨다.
• Human3.6M와 도전 대회 데이터셋 간 척도 차이를 보정하기 위해 CPN 추론 이전과 이후에 코너 및 리사이징(CR) 모듈을 도입한다.
• 배치 정규화와 최대 노름 가중치 제약 조건을 적용한 잔차 블록을 사용해 2D에서 3D로의 자세 추정기 훈련을 수행하여 훈련의 안정성과 일반화 성능을 향상시킨다.
• 허리 관절 기준으로 0-중앙화하고 표준화를 적용하여 2D 및 3D 자세를 정규화함으로써 모델 수렴을 향상시킨다.
• 2D에서 3D로의 리프팅을 배치 샘플에 대한 평균 제곱 오차 손실 최소화 문제로 설정하며, 목적 함수로 식 (1)을 사용한다.

실험 결과

연구 질문

• RQ1 실제 영상 시퀀스에서 2단계 파이프라인은 1단계 방법보다 정확도와 강건성 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ2 GlobalNet과 RefineNet을 갖춘 연결 피라미드 네트워크(CPN)는 가림되거나 보이지 않는 2D 관절 검출에 얼마나 효과적인가?
• RQ3 Human3.6M에서 훈련된 2D 자세 모델을 PoseTrack 데이터셋(다른 주제 척도)으로 이식할 때 코너 및 리사이징(CR) 모듈이 성능 향상에 얼마나 기여하는가?
• RQ4 2D에서 3D로의 리프팅 네트워크에 최적의 아키텍처와 정규화 전략(예: 배치 정규화, 최대 노름)은 무엇인가?
• RQ5 잔차 블록, 정규화, 가중치 제약 조건의 조합이 최종 3D 자세 추정 오차에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 ECCV 2018 PoseTrack 3D 인간 자세 추정 도전 대회의 검증 세트에서 평균 관절 위치 오차(MPJPE) 42.39를 기록하였다.
• 제거 실험 결과, 배치 정규화와 최대 노름 제약 조건을 모두 사용할 경우 MPJPE가 43.72로 감소하여, 이들 구성 요소가 없는 설정보다 유의미하게 뛰어난 성능을 보였다.
• 코너 및 리사이징(CR) 모듈을 포함시킬 경우 기준 모델 대비 성능이 17.5% 향상되어, 전체 정규화와 결합했을 때 MPJPE가 61.71에서 45.41로 감소하였다.
• 128차원의 단일 잔차 블록만으로도 충분한 성능을 달성하여, 2D에서 3D로의 리프팅 헤드에 깊은 아키텍처가 필요로 하지 않는다는 것을 시사한다.
• 복잡한 자세에서도 정확도가 유지됨을 보여주는 정성적 결과를 통해 모델이 도전적인 케이스에 대해 강력한 일반화 성능을 보였다.
• 온라인 하드 관절 마이닝 손실을 적용한 RefineNet의 사용은 보이지 않는 또는 가려진 관절의 검출 성능을 크게 향상시켜 전체 정확도에 기여하였다.