[논문 리뷰] High-Res Facial Appearance Capture from Polarized Smartphone Images

Dejan Azinović, Olivier Maury외 3명|arXiv (Cornell University)|2022. 12. 02.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 스마트폰 카메라와 플래시에 싼 가격의 투과성 필터를 부착하여 고해상도 얼굴 외관 촬영을 위한 저비용 방법을 제안한다. 교차 투과성 및 평행 투과성 영상 시퀀스를 촬영함으로써 산란 반사 및 미러 반사 성분을 분리하여, 저해상도에서 고해상도로의 유연한 렌더링 파이프라인을 통해 4K 산란 반사율, 미러 반사 강도, 노멀 맵을 고 fidelity로 재구성한다. 이는 새로운 시점과 조명 조건에서 사진 수준의 3D 얼굴 렌더링을 가능하게 한다.

ABSTRACT

We propose a novel method for high-quality facial texture reconstruction from RGB images using a novel capturing routine based on a single smartphone which we equip with an inexpensive polarization foil. Specifically, we turn the flashlight into a polarized light source and add a polarization filter on top of the camera. Leveraging this setup, we capture the face of a subject with cross-polarized and parallel-polarized light. For each subject, we record two short sequences in a dark environment under flash illumination with different light polarization using the modified smartphone. Based on these observations, we reconstruct an explicit surface mesh of the face using structure from motion. We then exploit the camera and light co-location within a differentiable renderer to optimize the facial textures using an analysis-by-synthesis approach. Our method optimizes for high-resolution normal textures, diffuse albedo, and specular albedo using a coarse-to-fine optimization scheme. We show that the optimized textures can be used in a standard rendering pipeline to synthesize high-quality photo-realistic 3D digital humans in novel environments.

연구 동기 및 목표

• 일반 소비자용 스마트폰과 저비용 투과성 필터만을 사용하여 고품질의 사진 수준의 3D 얼굴 외관 촬영을 가능하게 하기.
• 기존의 라이트 스테이지 시스템의 제약을 극복하기 위해 단일 장치로 간단한 하드웨어 수정만으로 촬영을 단순화하기.
• 투과성 기반 분리 기법을 통해 산란 반사 및 미러 반사 성분을 분리하여 반사율, 노멀 맵, 미러 반사 강도 맵을 정확하게 재구성하기.
• 텍스처 선명도를 향상시키고 뿌연 현상을 줄이기 위해 저해상도에서 고해상도로의 단계적 유연한 렌더링 최적화 전략 개발하기.

제안 방법

• 스마트폰의 카메라 렌즈와 플래시에 투과성 필터를 장착하여 촬영 중에 제어 가능한 투과성 상태를 확보하기.
• 어두운 실내에서 두 개의 짧은 영상 시퀀스를 촬영: 교차 투과성 조명(산란 반사 강조)과 평행 투과성 조명(미러 반사 유지)을 각각 사용.
• 구조-운동 기반 및 다중 시점 스테레오 기반으로 얼굴 기하학을 재구성한 후, 일관된 UV 매핑을 확보하기 위해 FLAME 매개변수 기반 얼굴 모델에 비탄성 피팅을 수행.
• 두 단계의 광학적 최적화 수행: 먼저 교차 투과성 데이터로부터 고해상도 산란 반사율과 초기 노멀 맵 추정, 이후 평행 투과성 영상으로부터 미러 반사 강도 및 최종 노멀 맵 정밀 조정.
• 각 해상도 수준에서 해당 UV 공간의 영향 범위에 해당하는 픽셀만을 사용하는 미프맵핑 기반의 저해상도에서 고해상도로의 최적화 전략을 적용하여 텍스처 선명도 유지.
• 방향성 플래시 조명 감쇠, 프레넬 효과, 환경 조명을 모델링하는 유연한 렌더러를 통합하여 재구성 정확도 향상.

실험 결과

연구 질문

• RQ1 저비용 투과성 필터를 장착한 스마트폰이 전문 라이트 스테이지 시스템과 비교해도 고해상도 얼굴 텍스처 재구성 성능을 달성할 수 있는가?
• RQ2 소비자 수준의 촬영을 위해 카메라와 조명이 동일 위치에 있을 때 투과성 기반의 산란 반사 및 미러 반사 성분 분리 기법이 얼마나 효과적인가?
• RQ3 저해상도에서 고해상도로의 단계적 최적화와 미프맵핑 기반 기법이 직접 고해상도 최적화 대비 텍스처 선명도를 얼마나 향상시키는가?
• RQ4 방향성 플래시 조명 감쇠 및 프레넬 효과 등의 모델링 가정이 재구성된 외관 정확도에 미치는 영향은 어느 정도인가?
• RQ5 최종로 재구성된 텍스처가 표준 렌더링 파이프라인에서 새로운 조명 조건과 시점에서 사진 수준의 결과를 생성하는 데 사용 가능한가?

주요 결과

• 투과성 필터를 장착한 두 개의 스마트폰 영상 시퀀스만으로도 4K 산란 반사율, 미러 반사 강도, 노멀 맵을 고해상도로 재구성할 수 있다.
• 미프맵핑 기반의 저해상도에서 고해상도로의 최적화 전략은 직접 고해상도 최적화 대비 훨씬 더 선명한 텍스처를 제공하며 뿌연 현상을 크게 감소시킨다.
• 방향성 플래시 조명 감쇠 및 프레넬 효과를 고려한 모델링은 재투영 오차를 낮추고 여러 시점에서 더 정확한 조명 효과를 제공한다.
• 모든 텍스처를 투과성 없이 동시에 최적화할 경우, 미러 반사 정보가 산란 반사 텍스처로 유출되어 현실감이 떨어지는 결과를 초래한다.
• 전체 파이프라인은 약 2.5시간의 계산 시간(고해상도 MVS 처리에 1시간 포함)이 소요되며, 4096×4096 해상도에서 GPU 메모리 30GB를 사용한다. 이는 동일한 입력에 대해 NLT(10시간)와 NextFace(6시간)보다 빠른 성능을 보인다.
• 재구성된 텍스처는 Blender와 같은 표준 렌더링 소프트웨어와 호환되며, 표면 산란 효과와 새로운 조명 조건 하에서도 사진 수준의 렌더링을 가능하게 한다.