[논문 리뷰] BCNet: Learning Body and Cloth Shape from A Single Image

Boyi Jiang, Juyong Zhang외 4명|arXiv (Cornell University)|2020. 04. 01.

3D Shape Modeling and Analysis참고 문헌 58인용 수 6

한 줄 요약

BCNet는 단일 근접 전면 RGB 이미지를 사용하여 SMPL 기반의 층상 의복 표현을 통해 세밀한 3D 신체 및 의복 형상을 재구성하는 새로운 방법을 제안한다. 피부 스위칭 웨이트는 신체 메esh에서 독립적으로 학습되어 스커트와 같은 다양한 토폴로지의 의복을 지원한다. 이는 후처리 최적화나 다중 시점 입력 없이도 최신 기술 수준의 재구성 정확도를 달성하며, 의복 이식 등의 응용 분야에서의 탄력적인 제어를 가능하게 한다.

ABSTRACT

In this paper, we consider the problem to automatically reconstruct garment and body shapes from a single near-front view RGB image. To this end, we propose a layered garment representation on top of SMPL and novelly make the skinning weight of garment independent of the body mesh, which significantly improves the expression ability of our garment model. Compared with existing methods, our method can support more garment categories and recover more accurate geometry. To train our model, we construct two large scale datasets with ground truth body and garment geometries as well as paired color images. Compared with single mesh or non-parametric representation, our method can achieve more flexible control with separate meshes, makes applications like re-pose, garment transfer, and garment texture mapping possible. Code and some data is available at https://github.com/jby1993/BCNet.

연구 동기 및 목표

• 기존 방법의 한계를 극복하여 단일 RGB 이미지에서 신체 및 의복 형상의 정확한 3D 재구성을 가능하게 하는 것.
• 신체와 다른 토폴로지를 가진 스커트와 같은 느슨한 의복을 포함한 다양한 의류 카테고리를 지원하는 것.
• 단일 전면 이미지만을 사용하여 다중 시점 입력, 의미 분할, A-포즈 제약 조건에 의존하지 않는 것.
• 신체 및 의복 기하학을 함께 예측하는 훈련 가능한 프레임워크를 개발하여 별도로 제어 가능한 메쉬를 제공하는 것.
• 훈련 및 평가를 위한 대규모 공개 데이터셋으로, 합성 이미지와 쌍방향 3D 신체-의복 형상 데이터를 포함한 데이터셋을 구축하는 것.

제안 방법

• 의복 메쉬가 SMPL 신체 메쉬에 묶이지 않는 층상 의복 표현을 제안하여, 독립적인 스위칭 웨이트 예측이 가능하도록 한다.
• 의복에 대해 신체 인식 웨이트를 생성하는 일반적인 스위칭 웨이트 네트워크를 도입하여 다양한 토폴로지에서의 탄력적인 변형을 가능하게 한다.
• 초기 형상 추정 이후 세부 정보 예측을 개선하기 위해 그래프 컬러리티브 네트워크(GCNs)를 활용한다.
• 다양한 신체 형태, 자세, 의류 유형을 가진 현실적인 옷을 입은 신체 데이터를 생성하기 위해 물리 기반 시뮬레이션 파이프라인을 활용한다.
• SMPL 신체, 합성 의류, 고해상도 텍스처 이미지를 결합한 대규모 합성 데이터셋을 사용하여 딥 네트워크를 훈련시킨다.
• 신체 형태(SMPL 파라미터), 자세, 의복 기하학을 별도의 메쉬 출력으로 함께 추정하기 위해 다단계 네트워크 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 단일 이미지 입력으로도 스커트와 같은 복잡한 의복 형상, 특히 느슨한 의복까지 정확한 3D 재구성을 달성할 수 있는가?
• RQ2 스위칭 웨이트를 신체 메쉬에서 분리하여 다양한 토폴로지를 가진 의복에 대한 변형 아티팩트를 줄일 수 있는가?
• RQ3 딥 러닝 모델이 다중 시점 입력이나 의미 애너테이션 없이도 여러 의류 카테고리에 일반화될 수 있는가?
• RQ4 단일 전면 이미지만을 사용할 때 최신 기술 수준의 방법과 비교해 어떤 정도의 재구성 정확도를 달성할 수 있는가?
• RQ5 제안된 방법이 후처리 최적화 없이도 의복 이식 및 재자세 조정과 같은 탄력적인 후속 응용을 가능하게 할 수 있는가?

주요 결과

• BCNet는 후처리 최적화 없이도 BUFF 데이터셋에서 MGN 및 Octopus와 같은 최신 기술 수준의 방법과 유사하거나 더 높은 재구성 정확도를 달성한다.
• DW 데이터셋에서 BCNet는 단일 이미지 입력으로 PIFu와 동일한 재구성 정확도를 확보하면서도 별도로 제어 가능한 신체 및 의복 메쉬를 제공한다.
• SMPL에 묶인 방법에서 흔히 발생하는 아티팩트를 피하면서도 스커트와 같은 느슨한 의복의 큰 가장자리 특징을 성공적으로 재구성한다.
• MGN과 비교해 다중 시점 분할이나 A-포즈 제약 조건 없이도 더 정확한 신체 크기와 의복 기하학을 생성한다.
• 제안된 데이터셋 구축 파이프라인은 다양한 자세와 현실적인 텍스처를 가진 고품질의 다양성 있는 합성 데이터를 생성하여 강력한 훈련을 지원한다.
• 재구성 결과를 바탕으로 의복 이식 및 자세 이식이 성공적으로 구현되어 별도의 메쉬 표현의 탄력성을 확인한다.