[논문 리뷰] Shape-from-Mask: A Deep Learning Based Human Body Shape Reconstruction from Binary Mask Images

Zhongping Ji, Qi Xiao외 4명|arXiv (Cornell University)|2018. 06. 22.

3D Shape Modeling and Analysis참고 문헌 32인용 수 9

한 줄 요약

이 논문은 두 가지 분기 컨볼루션 신경망 회귀 네트워크를 사용하여 이진 정사영 마스크 이미지에서 정확한 3D 인간 신체 자세를 복원하는 딥러닝 기법인 Shape-from-Mask를 제안한다. 전면 및측면 시점의 특징을 분리하고 융합함으로써, 색상 이미지나 애너테이션된 관절점이 필요 없이 고해상도의 재현을 달성하며, VR, 게임, 패션 분야에서의 빠른 디지털 아바타 생성을 가능하게 한다.

ABSTRACT

3D content creation is referred to as one of the most fundamental tasks of computer graphics. And many 3D modeling algorithms from 2D images or curves have been developed over the past several decades. Designers are allowed to align some conceptual images or sketch some suggestive curves, from front, side, and top views, and then use them as references in constructing a 3D model automatically or manually. However, to the best of our knowledge, no studies have investigated on 3D human body reconstruction in a similar manner. In this paper, we propose a deep learning based reconstruction of 3D human body shape from 2D orthographic views. A novel CNN-based regression network, with two branches corresponding to frontal and lateral views respectively, is designed for estimating 3D human body shape from 2D mask images. We train our networks separately to decouple the feature descriptors which encode the body parameters from different views, and fuse them to estimate an accurate human body shape. In addition, to overcome the shortage of training data required for this purpose, we propose some significantly data augmentation schemes for 3D human body shapes, which can be used to promote further research on this topic. Extensive experimen- tal results demonstrate that visually realistic and accurate reconstructions can be achieved effectively using our algorithm. Requiring only binary mask images, our method can help users create their own digital avatars quickly, and also make it easy to create digital human body for 3D game, virtual reality, online fashion shopping.

연구 동기 및 목표

• 색상 이미지에서 의복으로 인한 기하학적 모호성과 프라이버시 문제를 피하면서도 2D 이진 마스크 이미지에서 정확한 3D 인간 신체 자세를 복원하는 데 도전한다.
• 제한된 실세계 훈련 데이터를 사용하여 다양한 신체 자세에 일반화할 수 있는 데이터 효율적인 딥러닝 프레임워크를 개발한다.
• 2D 애너테이션(관절점 레이블, 세그멘테이션 등)이 필요 없는 최소한의 입력—정사영 전면 및 측면 이진 마스크만으로도 자동으로 3D 신체 모델링을 가능하게 한다.
• 딥러닝 네트워크 훈련 시 데이터 부족 문제를 해결하기 위해 3D 인간 신체 자세에 대한 새로운 데이터 증강 기법을 제안한다.
• 후속 처리를 위한 정밀 모델링 파이프라인에 적합한 토폴로지 일관성 있는 3D 메시를 생성한다.

제안 방법

• 전면 마스크와 측면 마스크 각각을 처리하는 두 분기 컨volutional 신경망 아키텍처를 설계하여, 각 시점에 특화된 특징을 독립적으로 추출한다.
• 신체 파라미터에 대한 특징 기술자를 각 시점에서 분리하여 학습을 별도로 수행하고 상호 간섭을 줄인다.
• 두 분기의 특징을 공유 회귀 헤드를 통해 융합하여, 분리된 신체 자세 공간에서 3D 신체 자세 파라미터를 예측한다.
• 기존의 신체 자세를 신체 파라미터 공간에서 변형시켜 합성 3D 인간 신체 자세를 생성하는 새로운 데이터 증강 파이프라인을 제안하여, 실질적인 애너테이션 없이도 훈련 데이터를 크게 확장한다.
• RGB 데이터나 2D 관절점 애너테이션에 의존하지 않고, 이진 마스크 입력에서 직접 3D 신체 자세 파라미터를 회귀하도록 모델을 훈련시킨다.
• 후처리 단계로 기하학적 정보 기반으로 학습된 관절 회귀기로 생성된 3D 메시에서 골격을 추출하여 애니메이션 등의 후속 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 색상 이미지나 2D 애너테이션에 의존하지 않고, 오직 이진 정사영 마스크 이미지에서만 3D 인간 신체 자세를 정확하게 복원할 수 있는가?
• RQ2 두 분기 컨볼루션 신경망 아키텍처가 전면 및 측면 시점의 신체 자세를 분리된 표현으로 학습하는 데 얼마나 효과적인가?
• RQ3 3D 신체 자세의 데이터 증강이, 훈련 데이터가 적은 환경에서 일반화 능력과 성능 향상에 어느 정도 기여하는가?
• RQ4 예측된 3D 메시는 오직 이진 마스크에서 훈련된 후에도 골격 추정 및 메시 편집 등의 후속 작업을 지원할 수 있는가?
• RQ5 부분적으로 손상되거나 노이즈가 있는 마스크 입력에 대해 이 방법은 얼마나 견고한가? 그리고 일부 데이터가 누락된 경우에도 타당한 자세를 복원할 수 있는가?

주요 결과

• 제안된 방법은 RGB 데이터나 2D 애너테이션 없이도 시각적으로 현실적이며 기하학적으로 정확한 3D 인간 신체 자세 복원을 달성한다.
• 두 분기 컨볼루션 신경망 설계가 전면 및 측면 시점의 특징을 성공적으로 분리하고 융합하여, 단일 시점 기반 베이스라인 대비 향상된 자세 추정 성능을 보였다.
• 데이터 증강 기법이 모델의 일반화 능력을 크게 향상시켜, 제한된 실세계 3D 신체 데이터로도 효과적인 훈련이 가능하게 했다.
• 생성된 3D 메시는 정확한 골격 추출을 지원하며 관절이 해부학적 기준점에 정확히 위치해 있어, 모델이 의미 있는 신체 기하학을 학습하고 있음을 검증한다.
• 부분적으로 마스킹된 입력이나 손상된 마스크에서도 모델이 학습된 자세 사전 지식을 기반으로 누락 영역을 채워 타당한 자세를 복원하는 데 성공했다.
• 복원된 3D 모델은 후속 정밀화 작업에 강력한 초기화 자료로 활용될 수 있으며, 예를 들어 형태-조명 추론 또는 이격 지도 기반 기법으로 세밀한 디테일을 추가하는 데 유용하다.