[논문 리뷰] TexMesh: Reconstructing Detailed Human Texture and Geometry from RGB-D Video

Tiancheng Zhi, Christoph Lassner외 4명|arXiv (Cornell University)|2020. 08. 01.

3D Shape Modeling and Analysis참고 문헌 60인용 수 5

한 줄 요약

TexMesh는 RGB-D 영상에서 자가학습 프레임워크를 활용하여 입사 조명과 시공간 사전 지식을 이용해 고해상도 알베도 텍스처를 포함한 고정밀 인간 메시를 복원한다. 사진 기반 및 기하학적 변형 제약 조건을 동시에 최적화함으로써 상태최고 수준의 자유 시점 렌더링을 달성하며, 실제 데이터에서 짧은 자가 적응 단계를 거친 후 18 fps로 실행된다.

ABSTRACT

We present TexMesh, a novel approach to reconstruct detailed human meshes with high-resolution full-body texture from RGB-D video. TexMesh enables high quality free-viewpoint rendering of humans. Given the RGB frames, the captured environment map, and the coarse per-frame human mesh from RGB-D tracking, our method reconstructs spatiotemporally consistent and detailed per-frame meshes along with a high-resolution albedo texture. By using the incident illumination we are able to accurately estimate local surface geometry and albedo, which allows us to further use photometric constraints to adapt a synthetically trained model to real-world sequences in a self-supervised manner for detailed surface geometry and high-resolution texture estimation. In practice, we train our models on a short example sequence for self-adaptation and the model runs at interactive framerate afterwards. We validate TexMesh on synthetic and real-world data, and show it outperforms the state of art quantitatively and qualitatively.

연구 동기 및 목표

• 단일 RGB-D 영상 시퀀스로부터 고품질의 자유 시점 인간 렌더링을 가능하게 하는 것.
• 기존 방법들이 기하학적 구조를 환상적으로 생성하거나 텍스처에 고정된 조명 효과를 도입하는 한계를 해결하는 것.
• 실제 세계 데이터를 활용하여 가림 영역에서도 세밀하고 시공간적으로 일관된 메시와 알베도 텍스처를 복원하는 것.
• 수동 애너테이션 없이 합성 데이터로 훈련된 모델을 실제 RGB-D 시퀀스에 자가학습적으로 적응시켜 시뮬레이션에서 실제 세계 간 격차를 해소하는 것.
• 사진 기반 및 시간적 사전 지식을 활용하여 시각적으로 선명한 텍스처와 옷 주름과 같은 미세한 기하학적 세부 정보를 생성하는 것.

제안 방법

• 입사 조명과 환경 맵을 활용해 국소 표면 기하학과 알베도를 추정함으로써 정확한 사진 기반 제약 조건을 구현한다.
• InstanceNorm과 ReLU를 사용한 U-Net 유사 아키텍처를 활용한 CNN 기반 텍스처 생성 파이프라인을 도입하며, 알베도 추정, 关건 프레임 선택, 및 정밀 조정을 수행한다.
• 감독 학습을 통해 합성 데이터 기반으로 이격도 맵 예측 모델을 사전 훈련한 후, 사진 기반의 인지 손실과 시공간 기하학적 변형 사전 지식을 활용해 실제 시퀀스에서 미세조정한다.
• 렌더링된 이미지와 입력 이미지 간의 사진 기반 오차를 최소화하면서 시간적 부드러움과 기하학적 일관성을 강제하는 자가학습 최적화 기법을 적용한다.
• 인지 손실을 위해 VGG 특징을 사용하고, 적응형 강력 손실을 적용하여 텍스처의 정확도를 향상시키고 잡음 요소를 줄인다.
• SMPL 기반의 거친 메시를 사용자 정의 인간 모델로 매핑하여 DeepHuman 및 HMD와 같은 기존 복원 파이프라인과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 자기학습 프레임워크는 합성 데이터로 훈련된 모델을 실제 RGB-D 시퀀스에 효과적으로 적응시켜 고품질 인간 메시 및 텍스처 복원에 기여할 수 있는가?
• RQ2 입사 조명을 어떻게 활용하여 알베도 추정을 향상시키고 텍스처 생성 시 조명 잔상 요소를 줄일 수 있는가?
• RQ3 시공간 기하학적 변형 사전 지식을 통해 가림 영역에서도 옷 주름과 같은 미세한 기하학적 세부 정보를 정확히 복원할 수 있는가?
• RQ4 조명 또는 기하학적 비일치를 忽시하는 방법에 비해 사진 기반 및 인지 손실이 텍스처의 선명도를 향상시키고 흐림을 줄이는 데 어느 정도 기여하는가?
• RQ5 짧은 적응 단계 후에 실시간 성능(18 fps)을 달성할 수 있는가? 추가적인 실제 세계 레이블 없이도 가능한가?

주요 결과

• TexMesh는 Tex2Shape 및 TNA와 같은 최신 기법들보다 정량적·정성적 지표에서 모두 뛰어나며, 더 선명한 텍스처와 덜 뚜렷한 조명 혼합 효과를 제공한다.
• 자기학습 적응 후 18 fps의 추론 속도를 확보하여 세밀한 인간 아바타의 실시간 자유 시점 렌더링을 가능하게 한다.
• 입사 조명과 사진 기반 제약 조건을 활용함으로써 기하학적 비일치로 인한 텍스처 흐림을 줄여 더 명확한 알베도 맵을 생성한다.
• 짧은 실제 시퀀스에서의 자기학습 미세조정을 통해 모델이 복잡한 동적 옷 주름 변화와 가림 영역에 일반화할 수 있게 되었다.
• 인지 및 시공간 손실의 사용으로 인해 가시하지 않은 부분에서도 프레임 간에 더 일관되고 현실적인 메시 변형이 가능해졌다.
• 정성적 결과에서는 합성 및 실제 데이터 모두에서 뛰어난 대비와 텍스처 선명도를 보이며, 잡음 요소가 최소화되고 조명 혼합 현상은 눈에 띄지 않는다.