[논문 리뷰] BioFaceNet: Deep Biophysical Face Image Interpretation

Sarah Alotaibi, William A. P. Smith|arXiv (Cornell University)|2019. 08. 28.

Face recognition and analysis참고 문헌 22인용 수 5

한 줄 요약

BioFaceNet는 심층 합성곱 신경망을 제안하여 단일 RGB 얼굴 이미지를 생물물리적 매개변수—멜라닌 및 헤모글로빈 지도, 그리고 확산 및 미러링 조명, 스펙트럼 조명, 카메라 감도로 분해한다. 생물물리적 및 물리적 사전 지식을 도입함으로써, 다중스펙트럼 데이터로부터 유도된 가짜 진실값을 사용한 새로운 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이는 물리적으로 의미 있는 이미지 편집과 이전 방법들보다 향상된 현실감을 가능하게 한다.

ABSTRACT

In this paper we present BioFaceNet, a deep CNN that learns to decompose a single face image into biophysical parameters maps, diffuse and specular shading maps as well as estimating the spectral power distribution of the scene illuminant and the spectral sensitivity of the camera. The network comprises a fully convolutional encoder for estimating the spatial maps with a fully connected branch for estimating the vector quantities. The network is trained using a self-supervised appearance loss computed via a model-based decoder. The task is highly underconstrained so we impose a number of model-based priors. Skin spectral reflectance is restricted to a biophysical model, we impose a statistical prior on camera spectral sensitivities, a physical constraint on illumination spectra, a sparsity prior on specular reflections and direct supervision on diffuse shading using a rough shape proxy. We show convincing qualitative results on in-the-wild data and introduce a benchmark for quantitative evaluation on this new task.

연구 동기 및 목표

• 비제약 조건 환경에서 얼굴 외관 분해를 위한 생물물리적 제약이 있는 심층 학습 방법의 부족을 해결하기 위해.
• 단일 얼굴 이미지를 멜라닌 및 헤모글로빈과 같은 해석 가능한 생물물리적 매개변수, 그리고 확산 및 미러링 조명으로 분해하기 위해.
• 물리적 및 통계적 제약 조건을 강제로 적용하여 스펙트럼 조명과 카메라 감도를 추정함으로써 현실감과 타당성을 향상시키기 위해.
• 다중스펙트럼 이미지로부터 유도된 가짜 진실값을 사용하여 생물물리적 얼굴 분해를 평가하기 위한 벤치마크를 수립하기 위해.
• 멜라닌 및 헤모글로빈과 같은 매개변수 지도를 조작하여 직관적이고 물리적으로 의미 있는 이미지 편집을 가능하게 하기 위해.

제안 방법

• 네트워크는 멜라닌, 헤모글로빈, 확산 및 미러링 조명 지도를 예측하기 위한 완전 합성곱 인코더를 사용하며, 벡터 양(조명 및 카메라 감도)을 추정하기 위한 완전 연결 브랜치를 포함한다.
• 모델 기반 디코더는 예측된 매개변수에서 입력 이미지를 재구성함으로써 자기지도 학습적 외관 손실을 계산하여 비지도 학습을 가능하게 한다.
• 생물물리적 사전 지식은 피부 반사율이 멜라닌과 헤모글로빈의 다양체로 제약되도록 하여 현실적인 피부 색상 생성을 보장한다.
• 카메라 스펙트럼 감도에 통계적 사전 지식을 적용하고, 물리적 제약 조건은 현실적인 조명 스펙트럼을 강제로 적용한다.
• 희소성 사전 지식은 비현실적인 미러링 반사 현상을 억제하고, 확산 조명에 대해 근사된 형태 프록시를 사용해 직접 지도 학습을 적용한다.
• 학습은 CelebA의 50k 서브셋에서 초모수를 튜닝한 가중치 조합의 손실 함수를 사용하며, 다중스펙트럼 데이터의 RGB 렌더링에만 접근 가능하다.

실험 결과

연구 질문

• RQ1 심층 CNN은 실제 제약 조건이 있는 환경에서 단일 RGB 얼굴 이미지를 생물물리적으로 타당한 피부 색소 지도(멜라닌 및 헤모글로빈)로 분해할 수 있는가?
• RQ2 생물물리적 및 물리적 사전 지식은 매우 제약이 많은 얼굴 외관 분해 문제를 얼마나 효과적으로 제약하는가?
• RQ3 모델 기반 디코더를 사용한 자기지도 학습 접근법이 진실값 지도 없이도 최신 기술 수준의 방법보다 더 나은 성능을 달성할 수 있는가?
• RQ4 예측된 매개변수 지도가 얼마나 현실적이고 직관적인 이미지 편집을 가능하게 하는가?
• RQ5 다중스펙트럼 데이터로부터 유도된 가짜 진실값을 사용한 벤치마크에서 BioFaceNet의 성능은 기존 방법들과 비교해 어떻게 측정되는가?

주요 결과

• 제안된 벤치마크에서 SfSnet 방법 [Sengupta et al.(2018)]에 비해 BioFaceNet은 확산 조명 및 알베도 지도에서 더 낮은 RMSE를 기록하여 정량적으로 뛰어난 성능을 달성한다.
• 모델은 정성적으로 설득력 있는 결과를 생성하며, 멜라닌이 피부 톤에 정확하게 국소화되고, 헤모글로빈이 붉은 뺨과 입술에 잘 반영된다.
• 멜라닌 지도를 편집하면 피부가 어두워지며(자외선에 의한 피부 탄력 증가 시뮬레이션), 헤모글로빈 지도를 편집하면 붉은 기운이 도는 외관이 나타나, 물리적 해석 가능성의 직관적인 예를 보여준다.
• 미러링 반사 지도는 잘 구분된 반사 영역을 탐지하며, 이를 제거하면 일관된 색상 변화가 발생하여 분해의 물리적 타당성을 검증한다.
• 생물물리적 피부 모델을 사용함으로써, 제약이 없는 알베도 모델에 비해 현실감이 향상되고 비현실적인 피부 색상이 감소한다.
• 강력한 사전 지식에도 불구하고 희소성 미러링 반사 사전 지식은 알베도 지도의 과도한 포화를 유도하여 정규화 전략의 개선이 필요함을 시사한다.