[논문 리뷰] Fully Convolutional Graph Neural Networks for Parametric Virtual Try-On

Raquel Vidaurre, Igor Santesteban외 2명|arXiv (Cornell University)|2020. 09. 09.

3D Shape Modeling and Analysis참고 문헌 64인용 수 4

한 줄 요약

이 논문은 임의의 의류 구조, 신체 형태, 소재에 걸쳐 일반화되는 파arametric 가상 피팅을 위한 완전 컨volution형 그래프 신경망(FCGNN)을 제안한다. 의류 유형, 신체 형태, 소재로부터 변형을 분리함으로써 실시간으로 고해상도 3D 드레핑 예측을 달성하며, 모델 크기는 71MB로, 완전 연결 기반 모델 대비 일반화 능력과 메모리 효율성에서 뛰어나다.

ABSTRACT

We present a learning-based approach for virtual try-on applications based on a fully convolutional graph neural network. In contrast to existing data-driven models, which are trained for a specific garment or mesh topology, our fully convolutional model can cope with a large family of garments, represented as parametric predefined 2D panels with arbitrary mesh topology, including long dresses, shirts, and tight tops. Under the hood, our novel geometric deep learning approach learns to drape 3D garments by decoupling the three different sources of deformations that condition the fit of clothing: garment type, target body shape, and material. Specifically, we first learn a regressor that predicts the 3D drape of the input parametric garment when worn by a mean body shape. Then, after a mesh topology optimization step where we generate a sufficient level of detail for the input garment type, we further deform the mesh to reproduce deformations caused by the target body shape. Finally, we predict fine-scale details such as wrinkles that depend mostly on the garment material. We qualitatively and quantitatively demonstrate that our fully convolutional approach outperforms existing methods in terms of generalization capabilities and memory requirements, and therefore it opens the door to more general learning-based models for virtual try-on applications.

연구 동기 및 목표

• 고정된 의류 구조와 메쉬 구조에 제한되는 기존 데이터 기반 가상 피팅 방법의 일반화 능력 부족 문제를 해결하기 위해.
• 단일 통합 모델을 사용해 임의의 파arametric 의류 유형과 신체 형태에 대해 실시간 3D 의류 드레핑 예측을 가능하게 하기 위해.
• 의류 유형, 대상 신체 형태, 소재 특화 주름이라는 세 가지 별도의 변형 원인을 분리하고 학습하기 위해.
• 완전 연결 계층을 완전 컨볼루션형 그래프 신경망 아키텍처로 대체함으로써 모델 크기 감소와 추론 효율성 향상하기 위해.
• 전체 재학습 없이도 새로운 소재에 대한 전이 학습을 가능하게 하기 위해 전용 구성 요소를 위한 미세 조정(fine-tuning)을 제공하기 위해.

제안 방법

• 다양한 2D 패널 기반 의류를 임의의 메쉬 구조로 생성하기 위해 파arametric 의류 설계 공간을 사용한다.
• 비정규 메쉬 데이터를 처리하기 위해 그래프 컨볼루션 계층을 갖춘 U-Net 유사 FCGNN 아키텍처를 적용하며, 공간적 및 위상적 관계를 유지한다.
• 변형 학습을 세 단계로 분리한다: 평균 신체에 대한 거친 드레핑 예측, 구조 인식 메쉬 정밀화, 소재 기반 미세 주름 예측.
• 변형 크기가 다른 입력을 효율적이고 파rameter 효율적으로 처리할 수 있도록 메쉬 그래프에 새로운 그래프 컨볼루션 연산자를 적용한다.
• 다양한 파arametric 신체 형태에 물리 기반 시뮬레이션된 의류를 사용한 대규모 데이터셋으로 모델을 훈련시킨다.
• 최종 네트워크 헤드의 미세 조정을 통해 전체 재학습 없이도 새로운 소재에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션형 그래프 신경망은 가상 피팅에서 임의의 의류 구조와 메쉬 구조에 대해 일반화할 수 있는가?
• RQ2 의류 유형, 신체 형태, 소재 변형을 분리하여 학습함으로써 일반화 능력과 효율성이 어떻게 향상되는가?
• RQ3 제안된 방법은 고해상도 드레핑과 주름 예측의 시각적 정확도를 유지하면서도 실시간 추론을 달성할 수 있는가?
• RQ4 완전 연결 기반 모델 대비 FCGNN의 메모리 및 파rameter 효율성은 어떠한가?
• RQ5 미세 조정을 통해 모델은 새로운 의류 유형, 신체 형태, 소재에 얼마나 일반화될 수 있는가?

주요 결과

• 제안된 FCGNN는 167MB인 완전 연결 기반 모델 대비 훨씬 작은 71MB 모델 크기를 확보하여 뛰어난 메모리 효율성을 입증한다.
• 기존 방법이 단일 메쉬 구조에 국한되는 것과 달리, 장삼, 셔츠, 타이트한 상의와 같은 새로운 의류 유형, 구조, 신체 형태에 일반화된다.
• 정성적 결과에서는 신체 형태와 의류 유형에 따라 자연스럽게 변화하는 소재에 따라 달라지는 현실적인 주름과 접힘이 관찰된다.
• 기존 최고 수준의 기준 모델 대비 일반화 능력에서 뛰어나며, 훈련된 의류 유형에선 유사한 성능, 새로운 의류 유형에선 뛰어난 성능을 보인다.
• 최종 네트워크 헤드의 미세 조정을 통해 전체 재학습 없이도 효과적인 새로운 소재 적응이 가능하다.
• 모델는 인터랙티브 추론 속도를 확보하여 실시간 가상 피팅 응용이 가능하다.