[논문 리뷰] What Makes Kevin Spacey Look Like Kevin Spacey

Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman외 1명|arXiv (Cornell University)|2015. 06. 02.

Face recognition and analysis참고 문헌 26인용 수 4

한 줄 요약

이 논문은 인터넷 상의 비정형 사진 컬렉션에서 사람의 '성격(Persona)'—특유의 외모와 행동 양식을 반영하는—제어 가능한 3차원 얼굴 모델을 복원하는 시스템을 제시한다. 3차원 얼굴 복원, 추적, 정렬 및 다중 텍스처 모델링을 융합함으로써, 다른 사람의 영상으로도 목표 대상의 정체성, 형태, 텍스처를 유지하면서 모델을 제어할 수 있는 퍼펫팅(puppeteering)을 가능하게 하며, 오로지 인터넷 이미지만으로도 유명인의 매우 현실적인 일관성 있는 결과를 도출한다.

ABSTRACT

We reconstruct a controllable model of a person from a large photo collection that captures his or her {\em persona}, i.e., physical appearance and behavior. The ability to operate on unstructured photo collections enables modeling a huge number of people, including celebrities and other well photographed people without requiring them to be scanned. Moreover, we show the ability to drive or {\em puppeteer} the captured person B using any other video of a different person A. In this scenario, B acts out the role of person A, but retains his/her own personality and character. Our system is based on a novel combination of 3D face reconstruction, tracking, alignment, and multi-texture modeling, applied to the puppeteering problem. We demonstrate convincing results on a large variety of celebrities derived from Internet imagery and video.

연구 동기 및 목표

• 비정형 사진 및 영상 컬렉션만을 사용하여 사람의 '성격(Persona)'—특유의 시각적 정체성과 행동 특성—을 캡처하는 시스템을 개발하는 것.
• 다른 사람(A)의 영상으로부터의 움직임을 이용해, 목표 대상(B)의 얼굴 정체성과 텍스처를 유지하면서 B가 A의 표정을 모방하도록 하는 현실적인 퍼펫팅을 가능하게 하는 것.
• 이전 방법들이 제어된 스캔이나 실험실 세션을 필요로 하였던 점을 고려해, 대규모 비정형 인터넷 이미지를 활용하여 3차원 모델을 복원함으로써 이러한 제약을 극복하는 것.
• 다양한 사진들로부터 고해상도의 표현에 따라 변하는 텍스처를 합성하여 주름, 접힘 자국, 조명 변화 등의 세부 정보를 유지하는 것.
• 활동 참여나 전용 장비 없이도 잘 촬영된 개인에 대해 현실적이고 제어 가능한 아바타를 생성할 수 있음을 입증하는 것.

제안 방법

• 대상자(B)의 3차원 얼굴 모델을 대규모 사진 컬렉션에서 3차원 얼굴 복원 및 형태 변형 기법을 사용하여 복원한다.
• 드라이버의 영상(A)으로부터 3차원 광학 유동을 이용해 얼굴 기하학적 형태와 운동을 정렬하고 추적하여 표현에 기반한 변형을 추정한다.
• 추정된 운동장을 활용해 드라이버(A)의 운동을 퍼펫(B)의 복원된 3차원 형태로 전달함으로써 움직임을 이식한다.
• 컬렉션에서 정렬된 사진들을 다중 척도 블렌딩을 통해 세밀한 표현에 따라 변하는 텍스처를 합성하여 주름 같은 고주파 수준의 세부 정보를 유지한다.
• 표현, 조명, 외형을 기반으로 한 유사도 측정 기반의 가중치를 적용해 텍스처 평균화 과정에서 사진을 선택함으로써 일관성과 현실감을 확보한다.
• 이미지 피라미드를 기반으로 계층적 블렌딩 프로세스를 적용하여 선명도를 유지하고, 특히 다양한 조명 조건에서의 깜빡임을 줄인다.

실험 결과

연구 질문

• RQ1 다양한 역할에서 인식 가능한 사람의 외형 및 행동 양식 중 어떤 요소들이 그들의 고유한 '성격(Persona)'을 정의하는가?
• RQ2 스캔이나 실험실 세션 없이도 비정형이고 校정되지 않은 사진 컬렉션에서 현실적인 제어 가능한 3차원 얼굴 모델을 복원할 수 있는가?
• RQ3 한 사람의 얼굴 운동을 다른 사람에게 전달하면서도 목표 대상의 정체성, 형태, 텍스처를 유지할 수 있는가?
• RQ4 다양한 조명과 표정을 가진 대규모이고 다양한 사진 컬렉션에서 일관성 있고 고해상도의 텍스처 합성을 가능하게 하는 기법은 무엇인가?
• RQ5 기존 사진 데이터만으로도 예상치 못한 표정이나 조명 조건에 대해 시스템이 얼마나 일반화될 수 있는가?

주요 결과

• 시스템은 대규모 사진 컬렉션에서 매우 현실적인 표현에 따라 변하는 텍스처를 성공적으로 생성하여 주름, 접힘 자국 등의 세부 정보를 유지한다.
• 배우 B의 형태와 텍스처를 사용하면서도 A의 운동을 적용한 결과는 다른 대안들보다 더 신뢰할 만하고 현실적인 퍼펫팅을 보여준다.
• 정적 워핑, 정렬되지 않은 가중 평균화, 사전 워핑된 평균화와 같은 베이스라인 방법들을 능가하여 더 선명하고 일관성 있으며 표현에 민감한 텍스처를 생성한다.
• 낮은 주파수의 조명 효과가 평균화되면서도, 유사한 표정의 사진이 충분히 확보되어 있을 경우 고주파 세부 정보가 유지되어 다양한 조명 조건에서도 안정적인 성능을 보인다.
• 유사도 기반의 가중치와 다중 척도 블렌딩 덕분에, 강한 조명 조건이나 흑백 사진이 포함된 참조 자료에서도 일관성 있는 결과를 도출한다.
• 작은 컬렉션이나 제한된 표정 변화가 있는 경우 성능 저하가 발생할 수 있으나, 블렌딩 과정에서 유사도 임계값과 표준편차를 조정함으로써 이를 완화할 수 있다.