[논문 리뷰] Detailed Human Avatars from Monocular Video

Thiemo Alldieck, Marcus Magnor외 3명|arXiv (Cornell University)|2018. 08. 03.

3D Shape Modeling and Analysis참고 문헌 27인용 수 10

한 줄 요약

이 논문은 단일 단안 영상에서 얼굴 랜드마크 검출, 형태-조명에서의 형태 추정, 그리고 의미 기반 텍스처 스티칭 전략을 통합하여 고해상도의 정체성 유지형 3D 인간 아바타를 생성하는 새로운 방법을 제시한다. 이 방법은 표준 T자세 공간에서 시간적 증거를 융합하여 현실적인 얼굴 특징, 세밀한 옷 주름, 고해상도 텍스처를 갖춘 아바타를 생성하며, 사용자 선호도, 정체성 유지, 세부 사항 인식도에서 기존 최고 수준의 방법보다 89% 이상 높은 성능을 보였다.

ABSTRACT

We present a novel method for high detail-preserving human avatar creation from monocular video. A parameterized body model is refined and optimized to maximally resemble subjects from a video showing them from all sides. Our avatars feature a natural face, hairstyle, clothes with garment wrinkles, and high-resolution texture. Our paper contributes facial landmark and shading-based human body shape refinement, a semantic texture prior, and a novel texture stitching strategy, resulting in the most sophisticated-looking human avatars obtained from a single video to date. Numerous results show the robustness and versatility of our method. A user study illustrates its superiority over the state-of-the-art in terms of identity preservation, level of detail, realism, and overall user preference.

연구 동기 및 목표

• 단안 영상에서의 제한된 기하학적 및 외관 정보에 기인한 어려움으로 인해, 단일 영상에서 고해상도 개인화된 3D 인간 아바타를 생성하는 데 도전하는 것.
• 기존 단안 재구성 방법에서 자주 손실되는 얼굴 세부 사항과 세밀한 표면 텍스처를 통합하여 정체성 유지 및 지각적 현실감을 향상시키는 것.
• 다중 시점 텍스처 융합에서 발생하는 텍스처 번지기와 흐림 현상을 해결하기 위해 외관 사전 정보를 활용한 의미 기반 텍스처 스티칭 전략을 도입하는 것.
• 시간에 따라 움직이는 관절 구조를 가진 인간의 재구성을 강력하게 가능하게 하기 위해, 각 프레임의 3D 증거(랜드마크, 법선)를 표준 자세 공간에 융합하는 것.

제안 방법

• SMPL 모델을 사용해 인간 자세를 추적하고, 각 프레임의 얼굴 랜드마크 투사 선을 표준 T자세 공간으로 변환하여 시간적 융합과 형태 정밀도 향상을 가능하게 한다.
• 각 프레임에서 형태-조명 기법을 적용하여 부분적인 3D 법선 필드를 복원하고, 이를 표준 공간에서 융합하여 주름과 같은 표면 세부 사항을 향상시킨다.
• 그래프 컷 에너지 함수를 최소화하는 이분 최적화 기반의 새로운 텍스처 스티칭 프레임워크를 도입하여 다중 시점에서 온 RGB 값을 효율적으로 텍스처 픽셀에 할당한다.
• 텍스처 업데이트 에너지에 의미 기반 외관 사전 정보를 통합하여, 부위 기반 외관 분포에 기반해 불가능한 색상 할당을 방지함으로써 텍스처 번지기를 줄인다.
• 최종 3D 재구성은 SMPL 신체 모델에 의해 정규화되며, 얼굴 특징과 옷 주름과 같은 고해상도 기하학적 구조와 텍스처를 유지한다.
• 기하학, 조명, 외관 정보를 단일 영상 시퀀스에서 통합한 유일한 프레임워크에서 모든 구성 요소를 공동 최적화한다.

실험 결과

연구 질문

• RQ1 단안 영상에서 추출한 얼굴 랜드마크 검출 결과를 시간에 걸쳐 효과적으로 융합하여 3D 얼굴 재구성과 정체성 유지에 기여할 수 있는가?
• RQ2 움직이는 여러 시점에서의 형태-조명 신호를 어떻게 융합하여 깊이 센서 없이도 주름과 같은 세밀한 표면 세부 사항을 향상시킬 수 있는가?
• RQ3 움직이는 관절 구조를 가진 주체의 부분적인 텍스처를 융합할 때 뿌연 현상과 색상 번지기를 방지하기 위해 확장 가능하고 효율적인 텍스처 스티칭 방법을 설계할 수 있는가?
• RQ4 의미 기반 외관 사전 정보를 통합함으로써 단안 3D 아바타 재구성에서 텍스처의 일관성과 현실감이 얼마나 향상되는가?
• RQ5 사용자 선호도와 현실감 및 정체성에 대한 세부 평가를 통해 측정했을 때, 제안된 방법이 기존 최고 수준의 접근 방식보다 뚜렷이 뛰어난 성능을 보이는가?

주요 결과

• 우리 방법은 [3]의 기존 최고 수준 방법보다 사용자 선호도가 89.64%로 높아져 실제 평가에서 강력한 지각적 우월성을 입증했다.
• 사용자들은 우리 아바타를 95.72%의 비율로 더 세밀한 것으로 인식하여, 세밀한 기하학적 구조와 표면 텍스처 유지에 성공했음을 확인했다.
• 텍스처가 있는 메esh 비교에서 정체성 유지율이 83.12%로 향상되었고, 텍스처가 없는 비교에서는 65.70%였으며, 전문 사용자들은 정체성 인식 정확도가 90.48%로 유의미하게 높았다.
• 의미 기반 텍스처 사전 정보가 색상 번지기를 효과적으로 줄였으며, 그림 9에서 시각적으로 확인되었듯이 피부에서 옷으로의 텍스처 번지기가 최소화되었다.
• 형태-조명 기반 융합이 표면 세부 사항을 향상시켰으며, 그림 8의 결과에서 얼굴과 의복 주름의 현실감이 뚜렷이 향상된 것으로 나타났다.
• 사용자 연구 결과에 따르면, 우리 아바타는 92.27%의 비율로 더 현실감 있게 평가되었으며, 이는 지각적으로 설득력 있는 결과를 달성한 방법의 성공을 강조한다.