[논문 리뷰] Delving Deep Into Hybrid Annotations for 3D Human Recovery in the Wild

Yu Rong, Ziwei Liu외 3명|arXiv (Cornell University)|2019. 08. 18.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 5

한 줄 요약

이 논문은 제한되지 않은(실세계) 환경에서 단일 이미지 3D 인간 복원을 위한 하이브리드 애너테이션을 조사하며, 밀도 높은 대응(예: DensePose에서의 IUV 맵)이 비용이 많이 들는 실세계 3D 애너테이션의 매우 효과적이고 저비용 대체 수 Mitt이 될 수 있음을 제안한다. 저자들은 밀도 높은 대응을 사용해 훈련한 모델가 전체 쌍화된 3D 데이터로 훈련한 모델의 92% 성능에 도달함을 입증하여, 실제 세계 3D 인간 복원에 있어 강력하고 효율적인 지도 신호임을 보여준다.

ABSTRACT

Though much progress has been achieved in single-image 3D human recovery, estimating 3D model for in-the-wild images remains a formidable challenge. The reason lies in the fact that obtaining high-quality 3D annotations for in-the-wild images is an extremely hard task that consumes enormous amount of resources and manpower. To tackle this problem, previous methods adopt a hybrid training strategy that exploits multiple heterogeneous types of annotations including 3D and 2D while leaving the efficacy of each annotation not thoroughly investigated. In this work, we aim to perform a comprehensive study on cost and effectiveness trade-off between different annotations. Specifically, we focus on the challenging task of in-the-wild 3D human recovery from single images when paired 3D annotations are not fully available. Through extensive experiments, we obtain several observations: 1) 3D annotations are efficient, whereas traditional 2D annotations such as 2D keypoints and body part segmentation are less competent in guiding 3D human recovery. 2) Dense Correspondence such as DensePose is effective. When there are no paired in-the-wild 3D annotations available, the model exploiting dense correspondence can achieve 92% of the performance compared to a model trained with paired 3D data. We show that incorporating dense correspondence into in-the-wild 3D human recovery is promising and competitive due to its high efficiency and relatively low annotating cost. Our model trained with dense correspondence can serve as a strong reference for future research.

연구 동기 및 목표

• 실세계 3D 인간 복원을 위한 딥 네트워크 훈련에서 다양한 애너테이션 유형의 비용 효율성 트레이드오프를 체계적으로 평가하기 위해.
• 쌍화된 실세계 3D 애너테이션이 부족하거나 가용하지 않을 경우 밀도 높은 대응이 실용적인 대체 수 Mitt으로 기능할 수 있는지 조사하기 위해.
• 특히 밀도 높은 대응을 포함한 하이브리드 애너테이션으로 훈련된 모델의 성능을 최신 기술과 비교하기 위해.
• 미래의 실세계 3D 인간 복원 연구를 위한 통합적이고 단순한 기준 프레임워크를 수립하기 위해.

제안 방법

• 저자들은 RGB 이미지와 IUV 맵(밀도 높은 대응)을 입력으로 사용하는 두 개의 브랜치 인코더 네트워크를 사용하여 SMPL 파라미터를 예측한다.
• 쌍화된 실세계 3D, 제약 있는 3D(예: Human3.6M), 2D 키포인트, 신체 부위 세그멘테이션, IUV 맵 등의 다양한 애너테이션 조합을 사용해 모델을 훈련시킨다.
• 핵심 구성 요소는 IUV 맵에서 노이즈 있는 예측을 제거하여 신뢰할 수 있는 밀도 높은 키포인트를 생성하는 정밀화 단계이다.
• 모델은 정점별 오차(PVE)와 밀도 높은 키포인트 거리(DKD)를 최소화하는 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 실험은 다양한 애너테이션 유형이 지도 신호로, 그리고 입력 특징으로서의 성능을 비교한다.
• 표준 메트릭인 DKD와 PVE를 사용해 COCO-DensePose, UP-3D, 3DPW 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 쌍화된 3D 애너테이션이 가용하지 않을 경우, 밀도 높은 대응(예: IUV 맵)이 실세계 3D 인간 복원에 대해 얼마나 효과적인 지도 신호가 되는가?
• RQ2 쌍화된 실세계 3D 애너테이션의 20%만을 사용할 경우, 전체 지도 신호 대비 성능 저하 정도는 어떠한가?
• RQ3 희소 2D 키포인트와 신체 부위 세그멘테이션은 제한되지 않은 환경에서 3D 모델 복원을 어떻게 이끄는가?
• RQ4 밀도 높은 대응이 단순히 지도 신호를 넘어서 일반화 성능을 향상시키는 강력한 입력 모odal리티로 기능할 수 있는가?
• RQ5 제안된 방법은 재구성 정확도 측면에서 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 쌍화된 실세계 3D 애너테이션으로 훈련된 모델가 최고의 성능를 보이며, 이러한 데이터의 80%를 제외하더라도 재구성 오차는 오직 5% 증가한다.
• 쌍화된 실세계 3D 애너테이션이 전혀 없을 경우, 밀도 높은 대응을 지도 신호로 사용한 모델가 전체 쌍화된 3D 데이터로 훈련된 모델의 92% 성능에 도달한다.
• 3D 애너테이션이 없는 상황에서 희소 2D 키포인트만을 지도 신호로 사용할 경우 모델 성능이 60% 감소한다.
• 밀도 높은 레이블링(예: 신체 부위 세그멘테이션)은 입력으로 제공할 경우 성능 향상이 미미하며, 주된 지도 신호로는 부적합하다.
• 밀도 높은 대응을 통합함으로써 성능이 2.9% 향상되었으며, 쌍화된 3D 데이터의 20%만으로 훈련된 모델가 전체 3D 데이터로 훈련된 모델의 성능을 따라잡을 수 있었다.
• UP-3D 데이터셋에서 밀도 높은 대응만으로 훈련된 모델가 PVE 137.5 mm를 기록하여, 쌍화된 3D 애너테이션으로 훈련된 최신 기술 수준의 방법과 유사한 성능를 달성했다.