[논문 리뷰] Ear-to-ear Capture of Facial Intrinsics

Alassane Seck, William A. P. Smith외 4명|arXiv (Cornell University)|2016. 09. 08.

Advanced Vision and Imaging참고 문헌 16인용 수 5

한 줄 요약

이 논문은 기하 캘리브레이션을 필요로 하지 않고 고해상도 내재 텍스처(반사율 및 세밀한 노멀 매핑 포함)를 갖춘 전체 귀에서 귀로의 3D 얼굴 모델을 캡처하는 캘리브레이션 자유 방법을 제시한다. 다중 시점 스테레오를 통한 거친 메쉬 재구성과 세 가지 자세에서의 투명도가 있는 조명을 활용한 광학적 스테레오를 조합함으로써, 시점 의존성 표면 노멀과 텍스처를 원활하게 융합하여 기하 캘리브레이션 없이도 시점 제한 없이 사진 수준의 재조명 및 렌더링을 가능하게 한다.

ABSTRACT

We present a practical approach to capturing ear-to-ear face models comprising both 3D meshes and intrinsic textures (i.e. diffuse and specular albedo). Our approach is a hybrid of geometric and photometric methods and requires no geometric calibration. Photometric measurements made in a lightstage are used to estimate view dependent high resolution normal maps. We overcome the problem of having a single photometric viewpoint by capturing in multiple poses. We use uncalibrated multiview stereo to estimate a coarse base mesh to which the photometric views are registered. We propose a novel approach to robustly stitching surface normal and intrinsic texture data into a seamless, complete and highly detailed face model. The resulting relightable models provide photorealistic renderings in any view.

연구 동기 및 목표

• 기하 캘리브레이션을 요구하지 않고 얼굴의 형태, 미세 반사율, 그리고 반사 반사율을 포함한 전체 귀에서 귀로의 내재 특성을 캡처하는 것.
• 광학적 스테레오에서 투명도가 있는 구형 기울기 조명의 시점 의존성 문제를 여러 자세에서의 촬영을 통해 해결하는 것.
• 겹치는 시점들 사이에서 표면 노멀과 내재 텍스처를 원활하게 통합하여 하나의 고해상도 완전한 얼굴 모델로 만드는 강력한 융합 파이프라인 개발.
• 임의의 조명 조건과 시점에서 사진 수준의 렌더링이 가능한 재조명 가능한 3D 얼굴 모델 생성.
• 촬영 조건과 무관한 일관성 있고 고정밀도의 얼굴 표현이 필요한 그래픽스, 심리학, 컴퓨터 비전 분야의 애플리케이션 지원.

제안 방법

• 여러 카메라 시점에서의 캘리브레이션되지 않은 다중 시점 스테레오를 사용하여 얼굴의 거친 기초 3D 메쉬를 생성한다.
• 투명도가 있는 조명을 사용한 라이트스테이지에서 광학 데이터를 캡처하여 반사율에 따라 달라지는 표면 노멀을 추정한다.
• 전체 귀에서 귀 커버리지 확보와 단일 시점 광학 캡처의 한계를 줄이기 위해 세 가지 다른 자세에서 데이터를 확보한다.
• 광학 일관성과 노멀 정렬 기반의 강력한 정렬 프로세스를 사용하여 광학 시점들을 기초 메쉬에 정렬한다.
• 경계 아티팩트를 최소화하고 세밀한 디테일을 유지하는 패치 기반 융합 방법을 사용하여 고해상도 노멀 매핑과 내재 텍스처 매핑(미세 반사율 및 반사 반사율)을 융합한다.
• 융합된 노멀 매핑(미세 또는 반사)을 사용하여 기초 메쉬를 정밀하게 보정함으로써 기하 정밀도와 표면 디테일을 향상시키며, 반사 노멀이 더 높은 마이크로 기하 정밀도를 제공한다.

실험 결과

연구 질문

• RQ1 기하 캘리브레이션 없이도 전체 귀에서 귀로의 3D 얼굴 모델과 내재 반사 특성을 캡처할 수 있는가?
• RQ2 투명도가 있는 구형 기울기 조명의 시점 의존성을 어떻게 극복하여 완전한 얼굴 커버리지를 달성할 수 있는가?
• RQ3 다양한 자세에서 유입된 고해상도의 시점 의존성 노멀 매핑과 반사율 텍스처를 하나의 일관된 모델로 원활하게 융합하는 최적의 전략은 무엇인가?
• RQ4 미세 노멀 매핑과 반사 노멀 매핑을 사용할 경우 최종 정밀 메쉬의 품질과 디테일에 어떤 영향을 미치는가?
• RQ5 고다이나믹 내재 데이터와 결합했을 때 고정된 거칠기 및 굴절률(IOR) 파rameter를 갖는 단순 BRDF 모델이 얼마나 사진 수준의 렌더링을 가능하게 하는가?

주요 결과

• 제안된 다중 자세 캡처 전략은 투명도가 있는 구형 기울기 조명의 단일 시점 제한을 성공적으로 극복하여 얼굴의 전체 귀에서 귀 커버리지를 가능하게 한다.
• 강력한 텍스처 융합 기법 덕분에 겹치는 영역에서도 눈에 띄는 패널 경계나 블렌딩 아티팩트가 없이 융합된 얼굴 모델을 제공한다.
• 반사 노멀 매핑은 표면 산란 효과가 감소함에 따라 미세 노멀보다 더 높은 표면 디테일을 제공한다.
• 최종 모델은 쿡-토런스 BRDF를 사용하여 하이브리드 미세/반사 노멀을 조합함으로써 일관된 거칠기와 IOR를 가정함에도 불구하고 높은 시각적 정밀도를 달성하여 사진 수준의 렌더링을 지원한다.
• 이 방법은 고해상도의 재조명 가능한 얼굴 모델을 생성하여 캐릭터 애니메이션, 심리적 자극물, 자세/조명 불변 인식 응용 분야에 적합하다.
• 이 방법은 얼굴 털에 대해 강건하며, 모낭과 주름과 같은 세밀한 얼굴 기능의 렌더링을 통해 고정밀도의 마이크로 기하를 유지함을 입증한다.