[논문 리뷰] Procedural Humans for Computer Vision

Charlie Hewitt, Tadas Baltrušaitis외 4명|arXiv (Cornell University)|2023. 01. 03.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 [20]에서 유래한 고해상도 얼굴 세부 정보와 SMPL-H를 결합하여 신체 전체의 형태와 자세를 제어할 수 있는 매개변수 기반의 절차적 3D 인간 신체 모델을 제안한다. 이는 조밀한 3D 지도(annotation)가 제공되는 현실적인 합성 데이터 생성을 가능하게 하며, 기울기 전파 가능한 렲영 파이프라인과 학습된 사전 지식을 활용한 최적화를 통해 다중 시점 2D 지점에서 정확한 3D 인간 재구성을 실현한다. 이는 자기 음영 및 높은 운동 복잡성 조건에서도 강건한 피팅을 가능하게 한다.

ABSTRACT

Recent work has shown the benefits of synthetic data for use in computer vision, with applications ranging from autonomous driving to face landmark detection and reconstruction. There are a number of benefits of using synthetic data from privacy preservation and bias elimination to quality and feasibility of annotation. Generating human-centered synthetic data is a particular challenge in terms of realism and domain-gap, though recent work has shown that effective machine learning models can be trained using synthetic face data alone. We show that this can be extended to include the full body by building on the pipeline of Wood et al. to generate synthetic images of humans in their entirety, with ground-truth annotations for computer vision applications. In this report we describe how we construct a parametric model of the face and body, including articulated hands; our rendering pipeline to generate realistic images of humans based on this body model; an approach for training DNNs to regress a dense set of landmarks covering the entire body; and a method for fitting our body model to dense landmarks predicted from multiple views.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 현실적이고 완전히 애너테이션된 합성 인간 데이터를 생성함으로써 도메인 갭과 애너테이션 비용을 줄이는 데 도전한다.
• 기존의 합성 얼굴 데이터 연구를 확장하여 손과 얼굴 표정을 포함한 조밀한 3D 애너테이션을 갖춘 전신 인간 모델을 제안한다.
• 기울기 전파 가능한 렌더링 파이프라인과 학습된 사전 지식을 활용한 최적화를 통해 다중 시점 2D 지점에서 정확한 3D 인간 신체 재구성을 실현한다.
• 얼굴 재구성보다 더 높은 모호성과 자기 음영을 포함한 자세 추정 문제를 해결하기 위해 다중 시점 입력과 강건한 초기화가 필요하다.

제안 방법

• 고해상도 얼굴 모델 [20]과 SMPL-H를 융합하여 12,943개의 정점과 54개의 관절을 갖는 통합된 매개변수 기반 신체 모델을 구축하며, 신원, 표정, 자세 제어를 지원한다.
• 손으로 작성한 스키닝 가중치를 사용하는 선형 블렌드 스킨닝(LBS) 함수를 활용해 관절의 회전에 따라 메쉬를 변형하며, SMPL-H의 자세에 따라 변형되는 블렌드셰이프를 포함한다.
• SMPL에 [20]의 헤드 모델를 정렬하여 템플릿 메쉬를 구성하고, 부드러운 전이를 위한 수작업으로 설계된 토폴로지로 메쉬를 융합하며, 텍스처 호환성을 위해 UV 공간을 적응시킨다.
• 기존 모델의 기본 요소(신원, 표정, 자세, 스키닝 가중치)를 새로운 토폴로지로 매핑 함수를 통해 전달하여 기존 자산과의 호환성을 확보한다.
• 기울기 전파 가능한 렌더링 파이프라인을 활용해 매개변수 기반 모델에서 현실적인 이미지를 생성하며, DNN의 엔드 투 엔드 훈련을 위한 조밀한 2D 지점 회귀를 가능하게 한다.
• 데이터 및 정규화 항목(예: 자세와 신원에 대한 GMM 사전 지식 포함)을 포함한 다중 시점 최적화 프레임워크를 통해 예측된 2D 지점을 전체 신체 모델에 피팅한다.

실험 결과

연구 질문

• RQ1 조밀한 전신 및 얼굴 세부 정보를 갖춘 절차적 생성 고해상도 3D 인간 모델이 컴퓨터 비전 분야의 합성 훈련 데이터 생성에 효과적으로 사용될 수 있는가?
• RQ2 이러한 모델을 활용해 조밀한 3D 지도 애너테이션(예: 지점, 형태, 자세)을 스케일에 맞게 효율적으로 생성할 수 있는가?
• RQ3 자기 음영과 자세의 모호성이 높은 상황에서 다중 시점 2D 지점에서의 3D 인간 신체 재구성에 있어 강건한 최적화 전략은 무엇인가?
• RQ4 L2 정규화에 비해 학습된 사전 지식(GMM을 통한 자세 및 신원 등)이 재구성 정확도와 현실성에 어떤 영향을 미치는가?
• RQ5 다중 시점 입력과 고품질 초기화는 단일 시점 3D 인간 재구성의 불안정한 성질을 해결하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 모델는 SMPL-H보다 높은 얼굴 해상도를 달성하면서도 기존 SMPL-H 자산 및 파이프라인과의 호환성을 유지한다.
• 이 모델로 생성된 합성 데이터는 높은 정확도로 조밀한 2D 지점 회귀를 위한 DNN 훈련에 효과적으로 활용된다.
• 다중 시점 입력(C ≥ 3대의 카메라)은 강건한 3D 재구성에 필수적이며, 뷰 수가 많을수록 성능 향상이著명하다.
• 자세(특히 손의 경우) 및 신원에 대해 GMM 사전 지식을 사용할 경우 L2 정규화에 비해 더 현실적이고 타당한 3D 재구성 결과를 도출한다.
• 단일 시점에서 기계 학습 기반 자세 초기화 방법은 복잡한 손 자세의 경우 수렴성과 정확도를 크게 향상시킨다.
• 다중 시점 지점에 기반한 모델 피팅은 높은 3D 일致성과 정밀한 월드 스페이스 정렬을 달성하며, 다중 시점 일致성 조건을 명시적으로 강제하지 않는 방법보다 뛰어난 성능을 보인다.