[논문 리뷰] Putting People in their Place: Monocular Regression of 3D People in Depth

Yu Sun, Wu Liu외 4명|arXiv (Cornell University)|2021. 12. 15.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 단일 RGB 이미지에서 3D 인간 자세, 형태, 상대적 깊이를 직접 회귀하는 일괄적이고 엔드 투 엔드로 미분 가능한 방법인 BEV를 제안한다. 이는 단일 시점 깊이 모호성을 해결하기 위해 암묵적인 조감도 시점(BEV) 표현을 도입함으로써 이루어진다. 새로운 3D 히트맵과 3D 오프셋 맵를 통해 2D 이미지 위치와 3D 깊이를 동시에 고려하고, 약한 지도 학습을 통한 깊이 및 연령 손실를 활용한 연령 인식 3D 신체 모델링을 통해, BEV는 깊이 추론, 어린이 형태 추정, 가림에 대한 강건성에서 최신 기술 수준(SOTA)의 성능을 달성한다. 이는 새로이 도입된 Relative Human(RH) 및 AGORA 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Given an image with multiple people, our goal is to directly regress the pose and shape of all the people as well as their relative depth. Inferring the depth of a person in an image, however, is fundamentally ambiguous without knowing their height. This is particularly problematic when the scene contains people of very different sizes, e.g. from infants to adults. To solve this, we need several things. First, we develop a novel method to infer the poses and depth of multiple people in a single image. While previous work that estimates multiple people does so by reasoning in the image plane, our method, called BEV, adds an additional imaginary Bird's-Eye-View representation to explicitly reason about depth. BEV reasons simultaneously about body centers in the image and in depth and, by combing these, estimates 3D body position. Unlike prior work, BEV is a single-shot method that is end-to-end differentiable. Second, height varies with age, making it impossible to resolve depth without also estimating the age of people in the image. To do so, we exploit a 3D body model space that lets BEV infer shapes from infants to adults. Third, to train BEV, we need a new dataset. Specifically, we create a "Relative Human" (RH) dataset that includes age labels and relative depth relationships between the people in the images. Extensive experiments on RH and AGORA demonstrate the effectiveness of the model and training scheme. BEV outperforms existing methods on depth reasoning, child shape estimation, and robustness to occlusion. The code and dataset are released for research purposes.

연구 동기 및 목표

• 다양한 키를 가진 사람들의 단일 시점 깊이 추정에서 발생하는 근본적인 모호성을 해결하기 위해, 특히 다양한 연령대가 혼재된 복잡한 장면에서의 문제를 다루는 것.
• 단일 RGB 이미지에서 다수의 사람들의 3D 자세, 형태, 상대적 깊이를 동시에 추정하는 통합적이고 일괄적인 방법을 개발하는 것.
• 기존 방법에서 2D 표현만을 사용하는 한계를 극복하기 위해 암묵적인 조감도 시점(BEV) 표현을 도입하여 명시적인 3D 추론를 가능하게 하는 것.
• 측정된 깊이 지도 없이 깊이 추론을 위한 훈련과 평가를 가능하게 하기 위해, 연령 레이블과 상대적 깊이 관계를 포함한 새로운 실외 데이터셋인 Relative Human(RH)을 구축하는 것.
• 연령 정보를 반영한 3D 신체 모델링과 약한 지도 학습 손실를 통합하여 심한 가림과 다양한 신체 크기 조건에서도 강건한 추정을 가능하게 하는 것.

제안 방법

• 암묵적으로 깊이 방향의 3D 신체 중심 위치를 모델링하는 새로운 조감도 시점(BEV) 표현을 도입하여, 네트워크가 2D 이미지 위치와 함께 깊이를 동시에 고려할 수 있도록 하는 것.
• 앞면 2D 히트맵과 BEV 히트맵을 융합하여 3D 히트맵을 구성함으로써, 다수의 사람에 대한 2D 및 3D 위치 동시 정확도 향상.
• 粗초적 검출을 정밀하게 보정하고 3D 이동 예측의 정밀도를 향상시키기 위해 3D 오프셋 맵(OM)을 활용하는 것.
• BEV 추론 중 깊이 추정을 향상시키기 위해 2D 신체 중심 히트맵을 주의 힌트로 사용하는 프론트뷰 조건(FVC) 모듈을 도입하는 것.
• 순서형 깊이 손실 대비 합리적인 페널티를 유지하면서 깊이 정확도를 향상시키는 조각별 깊이 레이어 손실($\boldsymbol{\mathcal{L}_{depth}}$)을 적용하는 것.
• 측정된 깊이 레이블 없이도 깊이와 연령을 학습할 수 있도록 약한 지도 학습(WST)을 적용하며, 깊이 및 연령 분류 손실($\boldsymbol{\mathcal{L}_{depth}}$, $\boldsymbol{\mathcal{L}_{age}}$)을 사용하는 것.

실험 결과

연구 질문

• RQ1 측정된 깊이 지도 없이도 단일 이미지에서 3D 인간 자세, 형태, 상대적 깊이를 효과적으로 동시에 회귀할 수 있는 일괄적이고 엔드 투 엔드로 미분 가능한 방법이 가능한가?
• RQ2 혼잡하고 가림이 심한 장면에서 2D 표현에 비해 암묵적인 조감도 시점(BEV) 표현이 깊이 추론에 얼마나 향상되는가?
• RQ3 연령 인식 3D 신체 모델링과 약한 지도 학습 손실가 단일 시점 3D 인간 추정에서 발생하는 깊이/키 모호성을 얼마나 효과적으로 완화할 수 있는가?
• RQ4 기존의 순서형 깊이 손실 대비 제안된 조각별 깊이 손실이 3D 이동 예측 정확도 향상에 얼마나 효과적인가?
• RQ5 상대적 깊이 및 연령 레이블만을 사용하는 약한 지도 학습 기반 훈련 방식이 실제 실외 환경의 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성할 수 있는가?

주요 결과

• BEV는 Relative Human(RH) 데이터셋에서 PCDR 0.2가 68.27로, CRMH 대비 깊이 추론 정확도에서 4.1% 향상되었다.
• AGORA 데이터셋에서 WST를 사용하지 않은 BEV는 NMVE 108.3과 NMJE 113.2로, ROMP 및 SOTA 방법 전반에서 모든 검출 지표에서 뛰어난 성능을 보였다.
• 제거 실험 결과 3D 오프셋 맵(OM)과 프론트뷰 조건(FVC)이 3D 위치 정확도의 세분화를 향상시키며, 이동 오차를 최대 12.7%까지 감소시켰다.
• 조각별 깊이 손실($\boldsymbol{\mathcal{L}_{depth}}$)은 순서형 깊이 손실 대비 3D 이동 오차를 15% 감소시켰으며, 특히 깊이 오차는 0.509에서 0.423으로 향상되었다.
• 깊이 손실($\boldsymbol{\mathcal{L}_{depth}}$)과 연령 손실($\boldsymbol{\mathcal{L}_{age}}$)을 모두 사용한 약한 지도 학습(WST)이 가장 뛰어난 깊이 추론 성능을 보였으며, 특히 어린이 집단에서 두드러진 성능 향상을 보였다.
• BEV는 가림과 다양한 신체 크기 조건에서도 강건성을 보이며, 복잡한 장면에서 서로 다른 깊이에 위치한 겹치는 사람들을 성공적으로 구분하였다.