[논문 리뷰] Hyper-Skin: A Hyperspectral Dataset for Reconstructing Facial Skin-Spectra from RGB Images

Pai Chet Ng, Zhixiang Chi외 3명|arXiv (Cornell University)|2023. 10. 27.

Optical Imaging and Spectroscopy Techniques인용 수 4

한 줄 요약

Hyper-Skin는 가시광선(400–700 nm)과 근적외선(700–1000 nm) 파장 범위를 커버하는 새로운 고분광 데이터셋을 소개한다. 이 데이터셋은 51명의 피험자로부터 확득한 330개의 고분광 큐브를 포함하며, RGB 이미지에서 얼굴 피부 스펙트럼을 복원하는 데 기여한다. 이 데이터셋은 28개의 실제 카메라 반응 함수로부터 유도된 합성 RGB 이미지와 함께 제공되어, 최신의 스펙트럼 복원 모델 개발을 지원하며, 특히 배경 제거 시에 성능 향상이 두드러져 가시광선 및 근적외선 대역 모두에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

We introduce Hyper-Skin, a hyperspectral dataset covering wide range of wavelengths from visible (VIS) spectrum (400nm - 700nm) to near-infrared (NIR) spectrum (700nm - 1000nm), uniquely designed to facilitate research on facial skin-spectra reconstruction. By reconstructing skin spectra from RGB images, our dataset enables the study of hyperspectral skin analysis, such as melanin and hemoglobin concentrations, directly on the consumer device. Overcoming limitations of existing datasets, Hyper-Skin consists of diverse facial skin data collected with a pushbroom hyperspectral camera. With 330 hyperspectral cubes from 51 subjects, the dataset covers the facial skin from different angles and facial poses. Each hyperspectral cube has dimensions of 1024$ imes$1024$ imes$448, resulting in millions of spectra vectors per image. The dataset, carefully curated in adherence to ethical guidelines, includes paired hyperspectral images and synthetic RGB images generated using real camera responses. We demonstrate the efficacy of our dataset by showcasing skin spectra reconstruction using state-of-the-art models on 31 bands of hyperspectral data resampled in the VIS and NIR spectrum. This Hyper-Skin dataset would be a valuable resource to NeurIPS community, encouraging the development of novel algorithms for skin spectral reconstruction while fostering interdisciplinary collaboration in hyperspectral skin analysis related to cosmetology and skin's well-being. Instructions to request the data and the related benchmarking codes are publicly available at: \url{https://github.com/hyperspectral-skin/Hyper-Skin-2023}.

연구 동기 및 목표

• 가시광선 및 근적외선 스펙트럼을 모두 포함하는 공개 가능하고 다양한 종류의 윤리적으로 확보된 고분광 얼굴 피부 데이터셋의 부족을 해소하기 위해.
• 소비자용 RGB 이미지에서 고해상도 피부 스펙트럼 반사율을 복원하는 딥러닝 모델 개발을 가능하게 하기 위해.
• 화장학, 피부과 및 개인 피부 건강 관리 분야에서 저비용이고 접근 가능한 고분광 피부 분석을 지원하기 위해.
• 학습 및 평가를 위한 스펙트럼 복원 알고리즘을 위해 고분광 데이터와 합성 RGB 데이터가 짝지어진 기준 데이터셋을 제공하기 위해.

제안 방법

• 400–1000 nm 범위의 448개 스펙트럼 대역을 가진 푸시브룸 고분광 카메라(Specim FX10)를 사용하여 얼굴 고분광 데이터를 확보하였다.
• 소비자 스마트폰 촬영 조건을 시뮬레이션하기 위해 28개의 실제 카메라 반응 함수를 활용하여 합성 RGB 이미지를 생성하였다.
• 다양한 얼굴 자세와 각도에서 51명의 피험자로부터 데이터를 확보하여, 1024×1024×448 고분광 큐브 내에서 공간적 및 스펙트럼적 다양성을 확보하였다.
• 엄격한 윤리적 절차를 적용하여, 동의서 확보, 피험자 식별자 기반 익명화, 기관 윤리위원회 승인을 이행하였다.
• 스펙트럼 각도 맵퍼(SAM)를 핵심 평가 지표로 삼아, RGB 입력에서 고분광 데이터를 복원하기 위해 최신 딥러닝 모델을 훈련시켰다.
• 배경 존재 여부가 복원 성능에 미치는 영향을 평가하기 위해 분석 실험(ablation study)를 수행하였으며, 배경 제거 시 성능 향상이 뚜렷하게 나타났다.

Figure 1: A glimpse of our Hyper-Skin dataset, covering the skin spectra in the visible spectrum (400nm - 700nm) and near-infrared spectrum (700nm - 1000nm).

실험 결과

연구 질문

• RQ1 가시광선 및 근적외선 스펙트럼을 모두 포함하는 고분광 데이터셋이 소비자용 RGB 이미지에서 얼굴 피부 반사율을 정확하게 복원하는 데 기여할 수 있는가?
• RQ2 근적외선 파장(700–1000 nm)의 포함이 복원된 피부 스펙트럼의 정밀도와 생리학적 관련성에 어떤 영향을 미치는가?
• RQ3 RGB 이미지 내 배경 간섭이 스펙트럼 복원 모델의 성능을 얼마나 악화시키는가?
• RQ4 다양한 카메라 반응 함수의 포함 여부가 합성 RGB 데이터의 현실성 및 일반화 능력에 어떤 영향을 미치는가?
• RQ5 Hyper-Skin에서 훈련된 모델이 실제 스마트폰 RGB 이미지로 일반화되어 소비자 기기에서 실용적으로 구동될 수 있는가?

주요 결과

• Hyper-Skin 데이터셋으로 모델 재학습 후 복원 성능이 뚜렷이 향상되었으며, 더 낮은 스펙트럼 각도 맵퍼(SAM) 값이 더 높은 스펙트럼 정밀도를 나타내었다.
• 입력 RGB 이미지에서 배경을 제거한 경우 모델 성능이 향상되어 배경 간섭이 복원 정확도에 부정적인 영향을 미친다는 점을 입증하였다.
• 근적외선(NIR) 스펙트럼(700–1000 nm)의 포함으로 멜라닌 및 헤모글로빈 농도와 같은 생리학적 매개변수의 정확한 추정이 가능해졌다.
• 실제 카메라 반응 함수를 활용해 생성한 합성 RGB 이미지는 실제 스마트폰 촬영 결과로 일반화 가능한 모델 훈련에 효과적으로 기여하였다.
• 실제 스마트폰 속삭임(selfie) 이미지에서 피부 스펙트럼 반사율을 성공적으로 복원하여, 훈련된 모델의 실용적 적용 가능성을 입증하였다.
• 이 데이터셋은 가시광선 및 근적외선 영역에서 31개 대역의 고분광 데이터를 복원하는 데 최신 기술 수준의 성능을 달성하였으며, 스펙트럼 일관성과 공간 해상도 향상에서 뚜렷한 개선을 보였다.

Figure 2: The image on the right illustrates our experimental setup for data collection, while the accompanying schematic representation provides a visual depiction of the setup.