[논문 리뷰] Photo Wake-Up: 3D Character Animation from a Single Photo

Chung-Yi Weng, Brian Curless외 1명|arXiv (Cornell University)|2018. 12. 05.

Human Motion and Animation참고 문헌 36인용 수 5

한 줄 요약

이 논문은 단일 사진에서 3D 애니메이션 가능한 캐릭터를 생성하기 위한 Photo Wake-Up 방법을 제안한다. 이는 주제의 실루엣과 일치하도록 템플릿 메시를 변형시키는 2D 워핑 기술을 사용하며, 자기 음영을 처리한다. 주요 기여는 2D에서 3D로의 변환 파이프라인을 새롭게 설계하여, 정적 이미지에서 현실적인 3D 애니메이션과 증강현실 경험을 가능하게 했으며, 이는 이전의 2D 또는 영상 기반 접근 방식보다 현실성과 상호작용에서 뛰어나다.

ABSTRACT

We present a method and application for animating a human subject from a single photo. E.g., the character can walk out, run, sit, or jump in 3D. The key contributions of this paper are: 1) an application of viewing and animating humans in single photos in 3D, 2) a novel 2D warping method to deform a posable template body model to fit the person's complex silhouette to create an animatable mesh, and 3) a method for handling partial self occlusions. We compare to state-of-the-art related methods and evaluate results with human studies. Further, we present an interactive interface that allows re-posing the person in 3D, and an augmented reality setup where the animated 3D person can emerge from the photo into the real world. We demonstrate the method on photos, posters, and art.

연구 동기 및 목표

• 단일 2D 사진에서 옷을 입은 인간 주제의 3D 애니메이션을 가능하게 하여, 2D 시네마그래프 및 영상 기반 방법의 한계를 극복한다.
• 복잡한 실루엣, 특히 흉부 앞에 팔이 있는 자기 음영을 포함한 경우에도 3D 메시를 정확하게 피팅하는 문제를 해결한다.
• 인터랙티브 3D 자세 편집과 증강현실 경험을 제공하는 시스템을 구축하여, 애니메이션된 캐릭터가 사진에서 실제 세계로 등장하도록 한다.
• 모호하거나 추상적인 입력에서 세그멘테이션, 스켈레톤 피팅, 텍스처 인painting을 보정하기 위한 사용자 가이드 인터페이스를 제공한다.
• 다양한 입력(사진, 포스터, 예술 작품 포함)에 대해 시험하여, 다양한 시각적 스타일에 걸쳐 강인함을 검증한다.

제안 방법

• 방법은 2D 인물 세그멘테이션, 스켈레톤 추정, 그리고 주제의 자세에 맞게 SMPL 기반 3D 템플릿 메시를 피팅하는 것으로 시작된다.
• 주제의 실루엣과 정확히 일치하도록 이미지 공간에서 템플릿 메시를 변형시키는 새로운 2D 워핑 기술이 적용되며, 손가락과 옷 같은 복잡한 기하학적 구조를 유지한다.
• 라벨 맵이 도입되어 신체 부위 간 경계를 정의하여, 워핑 중에 부분적인 자기 음영(예: 흉부 앞에 있는 팔)을 모델링할 수 있도록 한다.
• 변형된 2D 메시는 다시 3D 공간으로 업로드되어 입력 사진의 실루엣을 정확히 따르는 완전히 애니메이션 가능한 메시를 생성한다.
• 인터랙티브 사용자 인터페이스를 통해 관절을 조작하여 실시간 자세 편집이 가능하며, 즉각적인 3D 미리보기 생성이 가능하다.
• HoloLens 기반 증강현실 배포를 지원하여 사용자가 실제 세계 공간에서 사진에서 등장하는 애니메이션 3D 캐릭터를 볼 수 있도록 한다.

실험 결과

연구 질문

• RQ1 단일 2D 사진에서 복잡한 실루엣과 자기 음영을 유지하면서 정확한 3D 애니메이션 메시를 재구성할 수 있는가?
• RQ2 이미지 공간에서의 2D 워핑을 어떻게 활용하여 초기 템플릿 모델의 직접 3D 변형보다 우수한 3D 메시를 생성할 수 있는가?
• RQ3 제안된 방법이 2D 시네마그래프 및 영상 기반 3D 복원에 비해 현실성과 상호작용에서 얼마나 향상되었는가?
• RQ4 자동 세그멘테이션 또는 외관 모델링에 실패했을 경우, 사용자 가이드 보정이 텍스처 및 기하학적 정밀도를 향상시키는 데 얼마나 효과적인가?
• RQ5 증강현실 및 인터랙티브 3D 뷰잉 환경에서 단일 사진에서 생성된 3D 애니메이션의 인식 품질은 어떠한가?

주요 결과

• 350명의 MTurk 참가자 대상 인간 연구에서 평균 애니메이션 품질 평가는 3점 만점에 2.76점으로, 77.4%가 결과를 '좋아요!'로 평가했다.
• 직접 비교에서 103명의 참가자 중 86%가 우리 방법의 3D 현실성과 운동 품질을 [15]의 2D 방법보다 선호했다.
• 우리 방법은 특히 손가락의 세부 사항과 복잡한 실루엣 처리에서 SMPL 피팅 [6]과 다중 시점 변형 [1]보다 실루엣 일치도에서 뚜렷하게 뛰어났다.
• 우리 방법이 생성한 3D 메시는 HoloLens 기반 뷰잉과 같은 증강현실 경험을 가능하게 했으며, 이는 2D 전용 접근 방식에서는 불가능했다.
• 한계점으로는 모델링되지 않은 그림자, 모호성으로 인한 잠재적 3D 자세 오류, 일부 경우(예: 신발)의 비현실적인 기하학적 형태가 있으며, 이는 추상적이고 예술적인 입력에 대해서도 방법이 강인함을 보여준다.
• 딥 러닝 기반 외관 복원이 흐릿한 결과를 낼 경우, 사용자 상호작용이 텍스처 인painting 및 기하학적 정밀도 보정에 효과적이었다.