[논문 리뷰] Faces as Lighting Probes via Unsupervised Deep Highlight Extraction

Renjiao Yi, Chenyang Zhu외 2명|arXiv (Cornell University)|2018. 03. 16.

Advanced Vision and Imaging참고 문헌 36인용 수 5

한 줄 요약

이 논문은 단일 이미지 내 인간 얼굴에서 반사광을 추출하고 이를 조명 프로브로 사용하여 고정밀, 비모수적 환경 맵을 추정하기 위한 비지도 딥러닝 방법을 제안한다. 동일한 얼굴의 다수의 실제 이미지에서의 산란 색채도의 저질서 성질을 활용하여 지도 학습이 필요한 강조점 애너테이션 없이 모델을 미세조정함으로써, 조명 추정 및 조명원 삼각측량 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a method for estimating detailed scene illumination using human faces in a single image. In contrast to previous works that estimate lighting in terms of low-order basis functions or distant point lights, our technique estimates illumination at a higher precision in the form of a non-parametric environment map. Based on the observation that faces can exhibit strong highlight reflections from a broad range of lighting directions, we propose a deep neural network for extracting highlights from faces, and then trace these reflections back to the scene to acquire the environment map. Since real training data for highlight extraction is very limited, we introduce an unsupervised scheme for finetuning the network on real images, based on the consistent diffuse chromaticity of a given face seen in multiple real images. In tracing the estimated highlights to the environment, we reduce the blurring effect of skin reflectance on reflected light through a deconvolution determined by prior knowledge on face material properties. Comparisons to previous techniques for highlight extraction and illumination estimation show the state-of-the-art performance of this approach on a variety of indoor and outdoor scenes.

연구 동기 및 목표

• 단일 이미지에서 인간 얼굴을 조명 프로브로 사용하여 고주파, 비모수적 환경 조명을 추정하는 과제를 해결한다.
• 동일한 얼굴의 다수의 이미지에서 산란 색채도의 저질서 성질을 활용하여 실제 데이터의 강조점 분離를 위한 지도 없는 학습 기반의 지도 학습이 필요한 강조점 애너테이션 부족 문제를 해결한다.
• 저차수의 구면 조화 함수나 산란만을 가정하는 기존 방법에 비해 세밀하고 고주파의 조명을 복원함으로써 이전 방법을 향상시킨다.
• 단일 이미지 내 다수의 얼굴에서 추정한 환경 맵를 기반으로 삼각측량을 통해 국소 점광원의 정확한 3차원 위치를 추정한다.

제안 방법

• 그래픽스 렌더링된 진짜 강조점을 사용하여 합성 얼굴 이미지에서 반사광과 산란 반사를 분리하기 위해 딥 네트워크를 훈련시킨다.
• 동일한 사람의 다수의 정렬된 이미지에서 산란 색채도의 저질서 성질을 활용하여 실제 얼굴 이미지에 대해 비지도 미세조정을 수행한다.
• 회복된 강조점을 이용해 피부 반사 특성에 대한 사전 지식을 반영한 역상태화 과정을 통해 환경으로 되돌아가도록 한다. 이는 피부 반사로 인한 블러링을 줄이기 위함이다.
• 주파수 도메인에서의 역상태화를 통해 전체 환경 맵를 재구성하며, 이 경우 커널은 알려진 얼굴 반사 모델에서 유도된다. 이를 통해 고주파 조명 성분을 복원한다.
• 단일 이미지 내 다수의 얼굴에서 유도된 환경 맵를 기반으로 삼각측량을 통해 국소 조명원의 3차원 위치를 추정한다.
• 실제 HDR 환경 맵를 촬영한 합성 시나리오를 사용하여 방법을 검증하고, 리라이팅 오차 및 조명원 위치 정확도 측면에서 최신 기술 수준의 방법들과 비교한다.

실험 결과

연구 질문

• RQ1 실제 이미지 내 인간 얼굴이 강조점 애너테이션 없이도 고정밀, 비모수적 환경 맵를 추정하기 위한 조명 프로브로 효과적으로 사용될 수 있는가?
• RQ2 비지도 학습이 동일한 얼굴의 다수의 이미지에서 산란 색채도의 저질서 성질을 어떻게 활용하여 실제 데이터에서의 강조점 추출 성능을 향상시킬 수 있는가?
• RQ3 기본적인 컨볼루션 기반 접근 방식에 비해 물질 인식 커널을 사용한 역상태화가 고주파 조명 세부 정보 복원에 얼마나 기여하는가?
• RQ4 단일 이미지 내 다수의 얼굴을 사용하여 국소 조명원의 3차원 위치를 미터 이내 정확도로 삼각측량할 수 있는가?

주요 결과

• 교차 편광 진짜 데이터를 기반으로 검증한 결과, 단순히 합성 데이터에서의 지도 학습만을 사용하는 것보다 비지도 미세조정 전략이 강조점 분리 성능을 크게 향상시킨다.
• 실내 및 실외 시나리오 모두에서 리라이팅 오차 측면에서 최신 기술 수준의 성능을 달성하였으며, 구면 조화 함수 기반, 산란만을 가정하는 방법, 비얼굴 데이터로 훈련된 방법들을 모두 능가한다.
• 추정된 환경 맵는 저차수의 구면 조화 함수나 산란만을 가정하는 모델보다 고주파 조명 세부 정보를 더 정확히 복원한다. 이는 일반적으로 너무 흰색이거나 블러 처리된 알베도 추정을 유도하는 경향이 있다.
• 이 방법은 정확한 국소 조명원의 삼각측량을 가능하게 하였다: 위치 오차는 각각 0.41m와 0.51m였고, 진짜 얼굴 위치를 사용할 경우 0.20m와 0.49m로 감소하였다.
• 다양한 실내 및 실외 시나리오, 특히 이전 방법들이 방향성 조명원을 포착하지 못하는 복잡한 조명 환경에서도 잘 일반화된다.
• 추정된 조명을 사용한 가상 오브제 삽입은 기준 방법에 비해 더 사실적으로 보이며, 그림자 왜곡과 색상 일관성 문제를 줄였다.