[논문 리뷰] SiCloPe: Silhouette-Based Clothed People

Ryota Natsume, Shunsuke Saito외 5명|arXiv (Cornell University)|2018. 12. 31.

3D Shape Modeling and Analysis참고 문헌 60인용 수 7

한 줄 요약

이 논문은 단일 전면 이미지에서 완전하고 질감이 있는 3D 옷 입은 인간 신체를 복원하기 위한 딥러닝 기반 방법인 SiCloPe를 제안한다. 2D 실루엣과 3D 관절 추정치를 사용하여 일致하는 다중 시점 실루엣을 합성하고, 근사적 시점 샘플링 전략을 적용한 딥 뷰얼 헐 알고리즘을 통해 강력한 3D 기하 구조 복원을 수행하며, 이미지 간 변환 네트워크를 활용해 뒷면 질감을 예측함으로써 단일 시점 입력임에도 불구하고 다중 시점 방법과 유사한 성능을 달성한다.

ABSTRACT

We introduce a new silhouette-based representation for modeling clothed human bodies using deep generative models. Our method can reconstruct a complete and textured 3D model of a person wearing clothes from a single input picture. Inspired by the visual hull algorithm, our implicit representation uses 2D silhouettes and 3D joints of a body pose to describe the immense shape complexity and variations of clothed people. Given a segmented 2D silhouette of a person and its inferred 3D joints from the input picture, we first synthesize consistent silhouettes from novel view points around the subject. The synthesized silhouettes which are the most consistent with the input segmentation are fed into a deep visual hull algorithm for robust 3D shape prediction. We then infer the texture of the subject's back view using the frontal image and segmentation mask as input to a conditional generative adversarial network. Our experiments demonstrate that our silhouette-based model is an effective representation and the appearance of the back view can be predicted reliably using an image-to-image translation network. While classic methods based on parametric models often fail for single-view images of subjects with challenging clothing, our approach can still produce successful results, which are comparable to those obtained from multi-view input.

연구 동기 및 목표

• 파arametric 신체 모델이나 사전 촬영된 템플릿 없이도 단일 이미지에서 완전히 옷을 입히고 질감이 있는 3D 인간 신체를 복원할 수 있도록 하는 것.
• 단일 시점 입력에서 뒷면 기하 구조와 외관이 누락되는 문제를 해결하는 것.
• 세부적인 옷차림을 포착하고 예측 불가능한 주제로 일반화 가능한 비모수적이고 일반화 가능한 방법을 개발하는 것.
• 최적화된 시점 선택 전략을 적용한 딥러닝 강화 시각 헐 기법을 통해 3D 복원 정확도를 향상시키는 것.
• 조건부 GAN 기반의 이미지 간 변환 프레임워크를 활용해 전면 이미지에서 뒷면 질감을 합성하는 것.

제안 방법

• 실루엣 기반 암묵적 표현은 2D 입력 실루엣과 추정된 3D 관절 자세를 사용해 3D 형태의 복잡성을 인코딩한다.
• 딥 네트워크는 입력 세그멘테이션과 3D 관절을 기반으로 새로운 시점에서 일致하는 2D 실루엣을 합성한다.
• 실루엣 일관성을 극대화하는 시점 선택 전략을 통해 3D 복원 성능을 향상시키기 위한 근사적 시점 샘플링 전략을 사용한다.
• 딥 뷰얼 헐 알고리즘은 합성된 실루엣에서 옷을 입은 인간 신체 형태 사전 지식을 통합하여 3D 메쉬 기하 구조를 복원한다.
• 조건부 생성 적대적 네트워크(cGAN)는 전면 이미지와 세그멘테이션 마스크를 기반으로 뒷면 색상 질감을 추론한다.
• 이 방법은 실루엣 합성, 최적화된 시점 선택, 딥 뷰얼 헐, GAN 기반 질감 전이 기법을 두 단계 파이프라인으로 통합한다.

실험 결과

연구 질문

• RQ1 단일 시점 이미지를 사용해 높은 기하 정밀도를 확보한 완전하고 질감이 있는 3D 옷 입은 인간 신체를 복원할 수 있는가?
• RQ2 희소 입력에서 3D 복원 성능을 향상시키기 위해 다중 시점 간 실루엣 일관성을 어떻게 최적화할 수 있는가?
• RQ3 합성된 실루엣을 사용할 때, 딥 뷰얼 헐 방법이 전통적인 뷰얼 헐 기법을 능가할 수 있는가?
• RQ4 GAN 기반의 이미지 간 변환 네트워크가 전면 이미지에서 현실적인 뒷면 질감을 얼마나 잘 예측할 수 있는가?
• RQ5 정확도와 일반화 능력 측면에서 제안된 방법은 다중 시점 및 최신 단일 시점 복원 기법과 어떻게 비교되는가?

주요 결과

• 근사적 시점 샘플링 전략을 적용한 제안된 딥 뷰얼 헐 알고리즘은 무작위 시점 선택 대비 재구성 오차를 69% 감소시켰으며, 단순한 뷰얼 헐 방법을 능가한다.
• 단일 입력 이미지만으로도 다중 시점 뷰얼 헐 기법과 유사한 3D 복원 품질을 달성했다.
• 실루엣 합성 네트워크는 다중 시점 실루엣을 안정적으로 생성하여, 특히 오목한 영역에서 3D 기하 구조 예측 성능을 크게 향상시켰다.
• GAN 기반 질감 전이 네트워크는 현실적인 뒷면 외관을 성공적으로 추론하여 최종 3D 모델의 완전성과 현실감을 향상시켰다.
• 제거 실험 결과, 딥 뷰얼 헐과 근사적 시점 샘플링 전략이 재구성 아티팩트를 줄이고 정확도를 향상시키는 데 핵심적인 역할을 한다는 것이 확인되었다.
• 복잡한 의복과 예측 불가능한 주제에 대해서도 잘 일반화되어 있으며, 도전적인 케이스에서 파라미터 모델 기반 접근법을 능가했다.