[논문 리뷰] Face Shape and Reflectance Acquisition using a Multispectral Light Stage

Abhishek Dutta|UPT. Syiah Kuala University Library (Syiah Kuala University)|2011. 05. 18.

Computer Graphics and Visualization Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 고해상도 얼굴 기하학과 반사율을 고 fidelity로 캡처할 수 있는 다스펙트럴 라이트 스테이지(다스펙트럴 라이트 스테이지)를 제안한다. 이는 세밀한 3D 형태와 생물물리적 피부 매개변수 추정을 가능하게 한다. 구면 기울기 영상학적 스테레오를 위한 최소한의 네 장의 이미지 세트를 도입하고, 이차형 프로그래밍 기반 방법을 통해 변형된 확산 띠(lobe)를 보정함으로써 데이터 캡처 및 계산 비용을 크게 줄이고, 정규 벡터 추정 품질을 향상시킨다.

ABSTRACT

In this thesis, we discuss the design and calibration (geometric and radiometric) of a novel shape and reflectance acquisition device called the "Multispectral Light Stage". This device can capture highly detailed facial geometry (down to the level of skin pores detail) and Multispectral reflectance map which can be used to estimate biophysical skin parameters such as the distribution of pigmentation and blood beneath the surface of the skin. We extend the analysis of the original spherical gradient photometric stereo method to study the effects of deformed diffuse lobes on the quality of recovered surface normals. Based on our modified radiance equations, we develop a minimal image set method to recover high quality photometric normals using only four, instead of six, spherical gradient images. Using the same radiance equations, we explore a Quadratic Programming (QP) based algorithm for correction of surface normals obtained using spherical gradient photometric stereo. Based on the proposed minimal image sets method, we present a performance capture sequence that significantly reduces the data capture requirement and post-processing computational cost of existing photometric stereo based performance geometry capture methods. Furthermore, we explore the use of images captured in our Light Stage to generate stimuli images for a psychology experiment exploring the neural representation of 3D shape and texture of a human face.

연구 동기 및 목표

• 고해상도 얼굴 기하학과 다스펙트럴 반사율을 캡처할 수 있는 다스펙트럴 라이트 스테이지의 설계 및 캘리브레이션.
• 상호 반사 및 가림 현상으로 인해 영향을 받는 영상학적 스테레오에서의 변형된 확산 및 사선 반사율 띠 문제 해결.
• 성능 기하학 캡처에서 요구되는 이미지 수를 최소화하여 데이터 캡처 및 계산 비용 절감.
• 3D 형태와 질감 인지에 대한 심리학 실험을 위한 고품질 자극 이미지 데이터셋 생성.
• 영상학적 정규 벡터와 다스펙트럴 데이터를 활용한 얼굴 기하학 정확한 정렬 및 재구성 가능화.

제안 방법

• 기울기 조명을 근사하기 위해 분할된 이코사헤드론에 41개의 LED를 사용하여 구면 조명 환경 설계.
• 확산 및 사선 반사율 분리 목적의 편광 비스플리터와 이중 카메라 설정을 구현하여 교차 편광 이미지 동시 캡처.
• 비이상적인 조건에서의 확산 및 사선 반사율을 모델링하기 위해 기울기 및 일정 조명 조건에 대한 수정된 라디언스 방정식 개발.
• 표준 6장의 이미지에서 33% 감소한 4장의 이미지로만 표면 정규 벡터를 복원하는 최소한의 이미지 세트 방법 제안.
• 변형된 반사율 띠로 인한 일관성 없는 정규 벡터를 최소화하기 위해 이차형 프로그래밍(QP) 최적화 프레임워크 제안.
• 성능 캡처를 위해 기울기 및 보완 기울기 이미지를 동일한 추적 프레임에 정렬하기 위해 공동 영상학적 정렬 적용.

실험 결과

연구 질문

• RQ1 최소한의 네 장의 이미지 세트로도 구면 기울기 영상학적 스테레오에서 고품질의 영상학적 정규 벡터 추정이 가능할 수 있는가?
• RQ2 변형된 확산 및 사선 반사율 띠는 영상학적 스테레오에서 표면 정규 벡터 복원 정확도에 어떤 영향을 미치는가?
• RQ3 이차형 프로그래밍 기반 최적화가 비이상적인 조명 및 반사율 모델로 인한 정규 벡터 오차를 효과적으로 보정할 수 있는가?
• RQ4 제안된 방법은 성능 기하학 캡처에서 데이터 캡처 및 계산 비용을 어느 정도 줄일 수 있는가?
• RQ5 캡처된 다스펙트럴 반사율 및 영상학적 정규 벡터 데이터를 활용해 신경과학 실험에 적합한 시각적 자극을 생성할 수 있는가?

주요 결과

• 최소한의 이미지 세트 방법은 표준 6장의 이미지 방법 대비 33%의 데이터 캡처 요구량 감소를 달성하면서도 고품질의 영상학적 정규 벡터를 성공적으로 복원하였다.
• QP 기반 정규 벡터 보정 방법은 변형된 확산 띠로 인한 일관성 문제를 해결하여 정규 벡터 추정 품질을 향상시켰지만, 6개의 방정식과 9개의 미지수로 인해 여전히 과소정의된 상태이다.
• 교차 편광 영상 기반의 확산 및 사선 반사율 분리 방법은 거울 공 및 스노커 공과 같은 표준 시험 물체를 이용해 정확도가 검증되었다.
• 다스펙트럴 라이트 스테이지는 22%의 조명 투과 효율을 기록하여 더 긴 노출 시간이 필요하며, 향후 더 많은 LED와 자동 필터 휠을 도입하여 개선이 필요하다.
• 형태 전용, 질감 전용, 형태-질감 병합 이미지로 구성된 생성된 자극 이미지 데이터셋은 3D 얼굴 특징 인지에 대한 신경 반응을 연구하는 데 성공적으로 활용되었다.
• 최소한의 이미지 세트 기반 성능 캡처 시퀀스는 후처리 계산 비용을 감소시키고, 개선된 정렬 안정성을 확보한 실시간 기하학 캡처를 가능하게 하였다.