[논문 리뷰] Cross View Fusion for 3D Human Pose Estimation

Haibo Qiu, Chunyu Wang외 3명|arXiv (Cornell University)|2019. 09. 03.

Human Pose and Action Recognition참고 문헌 23인용 수 10

한 줄 요약

이 논문은 다중 시야 이미지에서 절대 3D 인간 자세 추정을 위한 이단계적 접근법을 제안한다. 컨volution 네트워크(CNN)를 이용한 시야 간 특징 융합을 통해 2D 자세 추정을 향상시키고, 반복적 그림자 구조 모델(RPSM)을 사용해 계산 비용을 낮추면서 3D 자세를 정밀하게 보정한다. 이 방법은 H36M에서 26 mm의 평균 관절 위치 오차(MPJPE)와 Total Capture에서 29 mm의 MPJPE를 기록하여 기존 방법보다 오차 감소율이 50% 이상 뛰어나 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

We present an approach to recover absolute 3D human poses from multi-view images by incorporating multi-view geometric priors in our model. It consists of two separate steps: (1) estimating the 2D poses in multi-view images and (2) recovering the 3D poses from the multi-view 2D poses. First, we introduce a cross-view fusion scheme into CNN to jointly estimate 2D poses for multiple views. Consequently, the 2D pose estimation for each view already benefits from other views. Second, we present a recursive Pictorial Structure Model to recover the 3D pose from the multi-view 2D poses. It gradually improves the accuracy of 3D pose with affordable computational cost. We test our method on two public datasets H36M and Total Capture. The Mean Per Joint Position Errors on the two datasets are 26mm and 29mm, which outperforms the state-of-the-arts remarkably (26mm vs 52mm, 29mm vs 35mm). Our code is released at \url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch}.

연구 동기 및 목표

• 다중 시야 校정된 영상에서 세계 좌표계 내 절대 3D 인간 자세를 추정하기 위해.
• 부정확한 2D 자세 추정 문제를 다중 시야 기하 일관성의 활용으로 해결하기 위해.
• 기존 그림자 구조 모델(PSM)에 비해 이산화 오차와 계산 비용을 줄이기 위해.
• 수동 레이블링 없이도 새로운 카메라 설정에 일반화 가능한 방법을 개발하기 위해.

제안 방법

• 다양한 시야에서 2D 자세를 동시에 추정하기 위해 시야 간 융합 CNN을 사용하여, 서로 다른 시야 간 특징 상호작용을 통해 정확도를 향상시킨다.
• 융합 네트워크는 중간 지도 없이도 기존 2D 자세 추정기와 엔드 투 엔드로 통합될 수 있다.
• 반복적 그림자 구조 모델(RPSM)을 제안하여 이전 추정치 주변의 점점 더 미세한 격자에서 반복적으로 관절 위치를 보정함으로써 3D 자세를 복원한다.
• RPSM는 각 반복에서 작은 격자 크기(N=8 등)를 사용하여 전체 공간 이산화에 비해 추론 비용을 감소시킨다.
• 투영 오차를 동시에 최소화하고 관절 간 공간 사전 구조를 강제한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 기존 2D 자세 추정기와 조합 가능하다.

실험 결과

연구 질문

• RQ1 부정확한 2D 자세 추정 문제(예: 가림, 움직임 흐림)가 발생할 경우, 시야 간 특징 융합이 다중 시야 환경에서 2D 자세 추정 정확도를 향상시킬 수 있는가?
• RQ2 반복적 정밀 조정 전략은 3D 자세 추정에서 이산화 오차를 줄이면서도 계산 효율성을 유지할 수 있는가?
• RQ3 공개 벤치마크에서 제안된 방법이 최신 기술 수준의 접근법에 비해 3D 자세 정확도에서 얼마나 우수한가?
• RQ4 수동 레이블링 없이도 의사 레이블 데이터만으로 새로운 카메라 설정에 일반화 가능한가?

주요 결과

• 제안된 방법은 H36M 데이터셋에서 26 mm의 평균 관절 위치 오차(MPJPE)를 기록하여 이전 최신 기술 수준의 52 mm보다 50% 이상 오차 감소를 달성했다.
• Total Capture 데이터셋에서는 29 mm의 MPJPE를 기록하여 이전 최고 성능 기준(35 mm) 대비 17% 오차 감소를 달성했다.
• 시야 간 특징 융합은 H36M에서 2D 자세 검출률을 89%에서 96%로 향상시켰으며, 손목과 같은 도전적인 관절에서 가장 뚜렷한 향상이 있었다.
• RPSM의 반복적 정밀 조정은 표준 PSM 대비 3D 자세 오차를 최소 50% 감소시켰고, 추론 시간 증가율은 최소 수준이었다.
• 새로운 카메라 설정에 대한 일반화 성능도 뛰어나, MPII에서의 의사 레이블 데이터만을 사용해 H36M에서 MPJPE를 109 mm에서 43 mm로 감소시켰다.
• 융합 모듈은 성능 향상에 기여했음을 입증했으며, Total Capture에서 단일 시야 RPSM는 41 mm의 MPJPE를 기록한 반면, 융합 RPSM는 29 mm의 MPJPE를 기록했다.