[논문 리뷰] Exploring Severe Occlusion: Multi-Person 3D Pose Estimation with Gated Convolution

Renshu Gu, Gaoang Wang외 1명|arXiv (Cornell University)|2020. 10. 31.

Human Pose and Action Recognition참고 문헌 35인용 수 4

한 줄 요약

이 논문은 움직이는 카메라로 촬영된 새로운 데이터셋(MMHuman)에서 운동 캡처 애너테이션 데이터를 활용하여, 심한 가림을 겪는 다수의 사람에 대한 3D 인간 자세 추정을 위한 시간적 게이팅 컨볼루션 네트워크를 제안한다. 이 방법은 게이팅 컨볼루션을 통해 누락된 3D 관절을 복구하고, 시간적 일관성과 3D에서 2D로의 역투영을 통합하여 전역적인 궤적 추정을 개선함으로써, 특히 가림 상황에서 기존 최고 성능(SOTA) 방법보다 정확도를 높인다.

ABSTRACT

3D human pose estimation (HPE) is crucial in many fields, such as human behavior analysis, augmented reality/virtual reality (AR/VR) applications, and self-driving industry. Videos that contain multiple potentially occluded people captured from freely moving monocular cameras are very common in real-world scenarios, while 3D HPE for such scenarios is quite challenging, partially because there is a lack of such data with accurate 3D ground truth labels in existing datasets. In this paper, we propose a temporal regression network with a gated convolution module to transform 2D joints to 3D and recover the missing occluded joints in the meantime. A simple yet effective localization approach is further conducted to transform the normalized pose to the global trajectory. To verify the effectiveness of our approach, we also collect a new moving camera multi-human (MMHuman) dataset that includes multiple people with heavy occlusion captured by moving cameras. The 3D ground truth joints are provided by accurate motion capture (MoCap) system. From the experiments on static-camera based Human3.6M data and our own collected moving-camera based data, we show that our proposed method outperforms most state-of-the-art 2D-to-3D pose estimation methods, especially for the scenarios with heavy occlusions.

연구 동기 및 목표

• 특히 심한 가림 상황에서 정확한 참값이 제공된 실세계의 움직이는 카메라, 다수의 사람에 대한 3D 자세 데이터셋이 부족한 문제를 해결한다.
• 심한 자기 또는 상호 가림으로 인해 손실된 관절을 복구할 수 있는 강건한 3D 자세 추정 방법을 개발한다.
• 정적 카메라 벤치마크가 부족한 도전적인 실세계 영상 시퀀스에서 일반화 능력과 성능을 향상시킨다.
• 시간적 연속성과 3D에서 2D로의 역투영을 활용하여 카메라 좌표계에서 자세를 국소화하는 전역 궤적 추정 방법을 도입한다.
• 향후 연구를 지원하기 위해 동적 카메라 조건에서 가림에 강건한 3D 인간 자세 추정을 위한 새로운 벤치마크 데이터셋(MMHuman)을 제공한다.

제안 방법

• 장기적 의존성을 모델링하고 2D 자세 시퀀스에서 누락된 3D 관절을 복구하기 위해 시간적 회귀 네트워크와 게이팅 컨볼루션 모듈을 제안한다.
• 루트 관절에 대한 정규화된 3D 자세 표현을 사용한 후, 3D에서 2D로의 역투영과 시간적 일관성을 통한 전역 궤적 복구 단계를 수행한다.
• 이미지 복원 기반 게이팅 컨볼루션을 적용하여 가시 관절에만 집중하고, 맥락 기반으로 가려진 관절을 재구성한다.
• 실세계의 가림 시퀀스와 합성 데이터의 조합으로 학습하여 가림 패tern에 대한 강건성을 향상시킨다.
• 두 단계 파이프라인을 활용한다: OpenPose를 통한 2D 관절 검출(신뢰도 점수 포함), 그 다음에 게이팅 시간 네트워크를 이용한 2D에서 3D로의 러핑.
• 관절별 L2 손실과 시간적 부드러움 정규화를 결합한 새로운 손실 함수를 도입하여 프레임 간 자세 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 심한 가림 상황에서 2D 관절에서 3D 자세를 효과적으로 복구할 수 있는 시간적 게이팅 컨볼루션 네트워크는 얼마나 유능한가?
• RQ2 심한 상호 및 자기 가림 조건에서 제안된 방법은 SOTA 2D에서 3D로의 러핑 모델보다 정확도에서 어떻게 비교되는가?
• RQ3 전역 궤적 추정 방법은 움직이는 카메라 상황에서 국소화 정확도를 얼마나 향상시키는가?
• RQ4 복잡한 가림이 있는 새로운 실세계 데이터셋에서 미세조정 없이 모델의 일반화 능력은 어느 정도인가?
• RQ5 움직이는 카메라와 고밀도 가림이 있는 새로 수집된 도전적인 데이터셋(MMHuman)에서 제안된 방법은 기존 방법을 초월할 수 있는가?

주요 결과

• Human3.6M 데이터셋에서 제안된 방법은 50% 가림 조건에서 3D 자세 오차 43.8 mm를 기록했으며, VideoPose3D(53.2 mm) 및 기타 SOTA 방법보다 우수한 성능을 보였다.
• 새로운 MMHuman 데이터셋에서 제안된 방법은 평균 오차 78.3 mm를 기록했으며, Hossain 등(118.5 mm), Pavllo 등(84.2 mm), Lin 등(114.9 mm)보다 유의미하게 뛰어난 성능을 보였다.
• 정성적 결과에서는 제안된 방법이 전체 신체 가림 상황에서도 자연스럽고 일관된 자세 추정을 유지하는 반면, VideoPose3D는 비자연스러운 사지 구성을 보였다.
• 이 방법은 가림에 대해 강건하며, 가장 도전적인 시퀀스(예: 'Kungfu' 및 'PullUp')에서 VideoPose3D 대비 오차 12.5% 상승을 보였다.
• 전역 궤적 추정 방법은 추가적인 감독 없이도 정확한 카메라 좌표계 국소화를 달성했으며, 가림 상황에서 VideoPose3D의 별도 궤적 네트워크보다 우수한 성능을 보였다.
• MMHuman 데이터셋에서 새로운 동작에 대해 미세조정 없이도 모델이 잘 일반화되어 있어, 실세계의 가림 패턴에 대해 강력한 제로샷 일반화 능력을 보였다.