[논문 리뷰] A Pixel-Based Framework for Data-Driven Clothing

Ning Jin, Yilin Zhu외 2명|arXiv (Cornell University)|2018. 12. 03.

3D Shape Modeling and Analysis참고 문헌 57인용 수 20

한 줄 요약

이 논문은 패턴 공간 내 2D RGB 이미지 시퀀스로 3D 옷의 변형을 모델링하는 픽셀 기반 딥러닝 프레임워크를 제안한다. 이는 컨volutional 네트워크(CNN)가 자세 파라미터에서 현실적인 의복 역학을 학습할 수 있도록 한다. 천의 정점들을 이미지 픽셀로 매핑하고, 컨volutional 네트워크를 사용해 텍스처 및 이동 오프셋을 예측함으로써, 정확한 탈의한 신체 형태가 필요 없이도 고해상도, 확장 가능한 가상 의복을 구현한다. 이는 스키닝 정확도 부족에 대해서도 강건하며, 정확한 탈의한 신체 형태가 필요하지 않다.

ABSTRACT

With the aim of creating virtual cloth deformations more similar to real world clothing, we propose a new computational framework that recasts three dimensional cloth deformation as an RGB image in a two dimensional pattern space. Then a three dimensional animation of cloth is equivalent to a sequence of two dimensional RGB images, which in turn are driven/choreographed via animation parameters such as joint angles. This allows us to leverage popular CNNs to learn cloth deformations in image space. The two dimensional cloth pixels are extended into the real world via standard body skinning techniques, after which the RGB values are interpreted as texture offsets and displacement maps. Notably, we illustrate that our approach does not require accurate unclothed body shapes or robust skinning techniques. Additionally, we discuss how standard image based techniques such as image partitioning for higher resolution, GANs for merging partitioned image regions back together, etc., can readily be incorporated into our framework.

연구 동기 및 목표

• 정확한 탈의한 신체 형태나 복잡한 물리 시뮬레이션 없이도 확장 가능하고 데이터 기반인 현실적인 가상 의복 프레임워크를 개발하는 것.
• 패턴 공간 내 2D RGB 이미지 시퀀스로 3D 옷을 표현함으로써 컨volutional 신경망(CNN)을 사용해 고도로 현실적인 의복 변형 예측을 가능하게 하는 것.
• 정확한 뼈대 기반 변형에 의존하지 않고 자세 유도 이미지 시퀀스에서 학습함으로써, 캔디워퍼 휘감김과 같은 스키닝 아티팩트에 대한 강건성을 향상시키는 것.
• 최소한의 계산 부담으로도 효율적이고 실시간 가상 시도 응용을 지원하기 위해 이미지 기반 딥러닝 기법을 활용하는 것.
• 적응형 네트워크 아키텍처와 손실 함수를 사용해, 넓이가 좁고 대비가 높은 의류 유형(예: 넥타이)을 포함한 다양한 의류 유형에 대한 일반화 능력을 입증하는 것.

제안 방법

• 천의 기하학적 구조가 2D 패턴 공간에 매핑되며, 각 정점가 텍스처 및 법선 좌표에서 신체 표면으로부터의 이동을 나타내는 RGB 값으로 표현된다.
• 천의 픽셀들이 신체 메쉬에 바리센터릭으로 매핑되며 애니메이션 중에 신체와 함께 움직이며 2D 패턴 공간 내 위치를 유지한다.
• 관절 각도 파라미터에서 RGB 이미지 시퀀스를 예측하기 위해 컨volutional 신경망(CNN)이 훈련된다. 이는 옷의 변형 무용을 효과적으로 학습한다.
• 예측 후 RGB 값은 텍스처 오프셋 및 이동 지도로 해석되며, 표준 스키닝 기법을 사용해 3D 월드 공간으로 재투영된다.
• 재구성 품질 향상을 위해 이미지 기반 기법(이미지 분할, GAN을 이용한 영역 병합, 다중 해상도 손실 함수(L1, L2, 법선, 모서리 길이))이 프레임워크에 통합된다.
• 넥타이와 같은 복잡한 의류의 경우, 네트워크가 종횡비 1:4인 직사각형 이미지를 예측하도록 적응되며, 구조적 무결성을 유지하기 위해 전용 모서리 길이 손실 함수가 포함된다.

실험 결과

연구 질문

• RQ1 패턴 공간 내 2D RGB 이미지 시퀀스로 3D 옷의 변형을 효과적으로 모델링할 수 있는가? 이는 강력한 CNN을 활용한 학습을 가능하게 하는가?
• RQ2 탈의한 신체 형태의 정확도 부족과 캔디워퍼 휘감김과 같은 스키닝 아티팩트에 대해 이 프레임워크는 얼마나 강건한가?
• RQ3 네트워크 아키텍처의 최소한의 변경으로도 넥타이와 같은 좁고 대비가 높은 의류 유형을 포함한 다양한 의류 유형에 일반화할 수 있는가?
• RQ4 어떤 손실 함수와 네트워크 아키텍처 조합이 재구성 정확도와 계산 효율성 사이의 최적의 균형을 이룰 수 있는가?
• RQ5 GAN과 이미지 분할과 같은 이미지 기반 기법을 프레임워크에 통합함으로써 해상도와 시각적 품질을 얼마나 향상시킬 수 있는가?

주요 결과

• L1 손실에 법선 손실을 추가한 경우, 테스트 세트에서 평균 정점 위치 오차는 0.44 cm, 법선 벡터 오차는 0.027 코사인 거리로 측정되었다.
• 법선 벡터 손실(가중치 0.01)을 포함함으로써 일반화 시 법선 오차가 0.027에서 0.029로 증가했으며, 이는 표면 방향 일致성 향상을 의미한다.
• 넥타이의 경우, 216만 개의 가중치를 가진 네트워크로 64×256 해상도 출력을 달성했으며, 구조적 매끄러움을 유지하기 위해 L1과 모서리 길이 손실(가중치 0.1)을 병합한 손실 함수를 사용했다.
• 루트 관절 기준 프레임에 PCA로 통합된 오프셋을 사용해 훈련하면 일반화 오차가 0.67 cm에서 0.55 cm로 감소했으며, 이는 일반화 성능 향상을 보여준다.
• 완전 연결 층에서 ReLU 활성화 함수를 사용하면 Tanh와 비교해 수렴 속도가 빠르고 성능이 유사하며, 이전 방법 대비 훈련 속도와 안정성에서 뛰어난 성능을 보였다.
• 이 방법은 잘못된 탈의한 신체 형태에 대해서도 강건성을 유지하며, 스키닝 아티팩트가 포함된 상황에서도 시각적 품질과 낮은 오차를 유지했다.