[논문 리뷰] Detailed Garment Recovery from a Single-View Image

Shan Yang, Tanya Ambert외 5명|arXiv (Cornell University)|2016. 08. 03.

3D Shape Modeling and Analysis참고 문헌 61인용 수 41

한 줄 요약

이 논문은 통계적, 기하학적, 물리적 사전 지식을 활용하여 단일 2D 이미지에서 세밀한 주름, 접힘, 소재 특성까지 포함한 세밀한 3D 의류 모델을 복원하는 방법을 제안한다. 신체 형태 복원, 의류 템플릿 변형, 물리 기반 천 시뮬레이션을 조합함으로써 최소한의 사용자 입력으로 고해상도 가상 피팅 및 애니메이션을 가능하게 하며, 단일 시야 제약에도 불구하고 시각적으로 타당한 결과를 도출한다.

ABSTRACT

Most recent garment capturing techniques rely on acquiring multiple views of clothing, which may not always be readily available, especially in the case of pre-existing photographs from the web. As an alternative, we pro- pose a method that is able to compute a rich and realistic 3D model of a human body and its outfits from a single photograph with little human in- teraction. Our algorithm is not only able to capture the global shape and geometry of the clothing, it can also extract small but important details of cloth, such as occluded wrinkles and folds. Unlike previous methods using full 3D information (i.e. depth, multi-view images, or sampled 3D geom- etry), our approach achieves detailed garment recovery from a single-view image by using statistical, geometric, and physical priors and a combina- tion of parameter estimation, semantic parsing, shape recovery, and physics- based cloth simulation. We demonstrate the effectiveness of our algorithm by re-purposing the reconstructed garments for virtual try-on and garment transfer applications, as well as cloth animation for digital characters.

연구 동기 및 목표

• 다중 시야 또는 3D 스캐닝이 필요로 하는 제약을 극복하고 단일 시야 이미지에서 세밀한 3D 의류 복원을 가능하게 하기 위해.
• 가짜 의류 외관에 필수적인, 가림을 입은 주름과 접힘과 같은 세밀한 기하학적 디테일을 모델링하기 위해.
• 그림자와 접힘과 같은 이미지 신호에서 소재 파라미터와 디자인 패턴을 추정하여 정확한 가상 피팅을 가능하게 하기 위해.
• 더 넓은 응용을 위해 복원된 의류를 다양한 신체 형태와 자세로 재타겟팅하기 위해.
• 전문가 입력이나 3D 스캐닝에 의존도를 줄이기 위해 통계적 신체 모델과 의류 템플릿을 활용하기 위해.

제안 방법

• trần thân체 모델을 사용하여 14개의 관절 앵커와 실루엣 스케치에서 신체 형태와 자세를 추정한다.
• 의류 템플릿 데이터베이스를 적용하여 의류의 기본 형태를 식별하고 일반적인 의류 유형의 변형 가능한 매개변수화를 가능하게 한다.
• 의미적 파싱과 특징 추정을 활용하여 입력 이미지에서 의류 경계, 패턴, 핵심 구조 요소를 탐지한다.
• 물리 기반 천 시뮬레이션을 사용하여 물리적으로 타당한 변형을 강제 적용함으로써, 이미지에 보이지 않는 주름과 접힘의 복원을 이끈다.
• 이미지 기반 제약 조건과 시뮬레이션된 물리적 거동을 조합하여 소재 파라미터, 자세, 형태를 공동 최적화한다.
• 매개변수 추정 및 형태 복원 파이프라인을 통합하여, 시각적 타당성과 이미지 일관성을 확보할 때까지 반복적으로 3D 의류 모델을 정밀하게 조정한다.

실험 결과

연구 질문

• RQ1 다중 시야 또는 깊이 데이터 없이 단일 2D 이미지에서 주름과 접힘과 같은 세밀한 기하학적 디테일을 가진 3D 의류 모델을 정확히 복원할 수 있는가?
• RQ2 직접 측정이 불가능한 상황에서 접힘과 그림자와 같은 이미지 신호로부터 의류의 소재 특성을 어떻게 추론할 수 있는가?
• RQ3 3D 입력이 없을 경우 물리 기반 천 시뮬레이션은 복원된 의류 기하학의 타당성을 얼마나 향상시킬 수 있는가?
• RQ4 복원된 의류가 다양한 신체 형태와 자세로 재타겟팅되어 가상 피팅 및 애니메이션에 얼마나 잘 적용될 수 있는가?
• RQ5 복잡한 의류 변형, 예를 들어 다중 층 스커트나 구조적 칼라와 같은 경우에 템플릿 기반 변형의 한계는 무엇인가?

주요 결과

• 물리 시뮬레이션과 이미지 기반 사전 지식을 조합함으로써, 가림을 입은 경우에도 현실적인 주름과 접힘까지 포함한 시각적으로 타당한 3D 의류 복원을 달성한다.
• 평균적으로 전체 파이프라인은 1벌의 의류당 4~6시간이 소요되며, 이 중 60~80%의 시간이 의류 매개변수 식별 및 공동 소재-자세 최적화에 소요된다.
• 접힘과 주름의 존재를 바탕으로 소재의 강성과 드레이프 특성을 성공적으로 추정할 수 있었으며, 이는 소재 특성에 대한 강력한 시각적 단서로 작용한다.
• 복원된 의류는 다양한 신체 형태와 자세로 재타겟팅 가능하여 가상 피팅 및 애니메이션 응용에 활용할 수 있다.
• 이 방법은 특히 복잡하거나 비표준 디자인의 경우, 의류 템플릿 데이터베이스의 가용성과 형태 유연성에 의해 제한된다.
• 3D 인간 자세 추정에 실패할 경우 수동 간섭이 필요하며, 이는 현재 최첨단 자세 복원 방법에 의존하고 있음을 시사한다.