[논문 리뷰] Towards Robust RGB-D Human Mesh Recovery

Ren Li, Changjiang Cai외 4명|arXiv (Cornell University)|2019. 11. 18.

Human Pose and Action Recognition참고 문헌 40인용 수 11

한 줄 요약

이 논문은 동적 데이터 융합 모듈, 약한 지도 학습을 위한 통합 SMPL 제약 생성기(USCG), 깊이 순서 일致성(DRC) 손실을 사용하여 강건한 RGB-D 인간 메시 복원 방법을 제안한다. 이 방법은 다양한 RGB-D 및 RGB 전용 데이터셋 간의 이질적인 애너테이션을 통합하여 학습할 수 있도록 하며, 상대적 깊이 순서와 합성 SMPL 지도 신호를 활용하여 깊이 모호성 해결을 향상시킨다. 결과적으로 최신 기술 수준의 메시 복원 정확도를 달성한다.

ABSTRACT

We consider the problem of human pose estimation. While much recent work has focused on the RGB domain, these techniques are inherently under-constrained since there can be many 3D configurations that explain the same 2D projection. To this end, we propose a new method that uses RGB-D data to estimate a parametric human mesh model. Our key innovations include (a) the design of a new dynamic data fusion module that facilitates learning with a combination of RGB-only and RGB-D datasets, (b) a new constraint generator module that provides SMPL supervisory signals when explicit SMPL annotations are not available, and (c) the design of a new depth ranking learning objective, all of which enable principled model training with RGB-D data. We conduct extensive experiments on a variety of RGB-D datasets to demonstrate efficacy.

연구 동기 및 목표

• RGB-D 센서에서의 깊이 데이터를 활용하여 RGB 전용 인간 메시 복원에서의 본질적 깊이 모호성을 해결한다.
• 2D 키포인트, SMPL 애너테이션, 또는 전혀 SMPL 레이블이 없는 이질적인 데이터셋에서도 학습이 가능하도록 한다.
• 누락되거나 일관되지 않은 데이터가 존재하는 상황에서도 RGB 전용, 깊이 전용, RGB-D 입력 모두에 일반화 가능한 통합 학습 프레임워크를 개발한다.
• 좌표계에 관계없이 임의의 좌표계에서의 3D 키포인트 애너테이션으로부터 SMPL 지도 신호를 신뢰성 있게 생성하기 위한 제약 생성기를 개발한다.
• 예측된 메시의 파라미터에 대해 키포인트 간 상대적 깊이 순서를 학습함으로써 깊이 일관성을 강제한다.

제안 방법

• 학습 중에 RGB 또는 깊이 스트림을 무작위로 활성화하는 동적 데이터 융합 모듈을 도입하여 누락된 데이터 모odalities에 대한 강건성을 확보한다.
• 누락된 RGB 또는 깊이 입력을 시뮬레이션하기 위해 확률적 학습 정책을 활용하여 다양한 데이터 가용성 시나리오에서의 일반화 성능을 향상시킨다.
• 통합 SMPL 제약 생성기(USCG)를 제안하며, 좌표계에 독립적으로 상대적 3D 키포인트 구성으로부터 SMPL 파라미터를 추론한다.
• 예측된 3D 키포인트의 상대적 깊이 순서를 강제하는 깊이 순서 일관성(DRC) 손실을 설계하여 깊이 인식 메시 추정 성능을 향상시킨다.
• USCG를 통한 SMPL 지도 신호와 표준 2D 키포인트 손실을 DRC 손실과 결합하여 혼합된 데이터셋에서 통합 모델을 학습한다.
• RGB 전용 데이터셋(예: PKU-MMD)을 위한 0으로 채운 깊이 맵을 사용하여 RGB-D 데이터와의 공동 학습이 가능하도록 하여 데이터 효율적 학습을 실현한다.

실험 결과

연구 질문

• RQ1 RGB-D 데이터가 완전히 확보되지 않거나 데이터셋 간에 정렬되지 않은 경우, 인간 메시 추정기를 효과적으로 학습할 수 있는 방법은 무엇인가?
• RQ2 좌표계가 다를 수 있거나 존재하지 않는 3D 키포인트 애너테이션으로부터 신뢰할 수 있는 SMPL 지도 신호를 생성할 수 있는 방법은 무엇인가?
• RQ3 명시적인 SMPL 애너테이션이 없이도 메시 예측의 깊이 일관성을 강제할 수 있는 방법은 무엇인가?
• RQ4 혼합된 RGB 및 RGB-D 데이터셋에서 학습한 통합 모델이 단일 데이터 유형에서 학습한 모델보다 더 잘 일반화할 수 있는가?
• RQ5 깊이 순서 지도 신호가 다양한 입력 모odalities에서 메시 복원 정확도에 미치는 영향은 무엇인가?

주요 결과

• PKU-MMD의 RGB-D 입력에 대해 제안된 모델은 평균 정점-진짜값 오차가 130.70을 기록하였고, DRC 손실만 적용하면 120.90으로 감소한다.
• USCG를 통한 보조 SMPL 손실을 추가하면 모든 입력 유형과 데이터셋에서 평균 8.5%의 재구성 오차 감소를 달성한다.
• RGB 전용 데이터셋(예: PKU-MMD)과의 공동 학습으로 RGB-D 입력에 대한 오차는 120.59에서 110.47로 감소하여 데이터 효율성의 잠재력을 입증한다.
• USCG와 DRC를 사용하여 PKU-MMD와 CAD-60을 모두 학습한 모델은 단일 데이터셋에서 학습한 베이스라인 모델보다 우수한 성능을 보이며, 데이터셋 간 일반화 능력을 입증한다.
• DRC 손실만으로도 CAD-60 RGB-D 입력에서 오차가 102.45에서 91.04로 9.8% 감소하여 좌표계 변형에 대한 효과성을 입증한다.
• USCG와 DRC 손실의 조합이 가장 우수한 성능을 보이며, 베이스라인 대비 CAD-60 RGB-D 입력에서 12.4%의 오차 감소를 기록한다.