[论文解读] Hyper-Skin: A Hyperspectral Dataset for Reconstructing Facial Skin-Spectra from RGB Images

Pai Chet Ng, Zhixiang Chi+3 more|arXiv (Cornell University)|Oct 27, 2023

Optical Imaging and Spectroscopy Techniques被引用 4

一句话总结

Hyper-Skin 引入了一个新颖的高光谱数据集，覆盖可见光（400–700 nm）和近红外光（700–1000 nm）波段，包含来自51名受试者的330个高光谱立方体，支持从RGB图像重建面部皮肤光谱。该数据集搭配28种真实相机响应函数生成的合成RGB图像，支持最先进的光谱重建模型，在VIS和NIR波段均实现显著性能提升，尤其在去除背景后效果更佳。

ABSTRACT

We introduce Hyper-Skin, a hyperspectral dataset covering wide range of wavelengths from visible (VIS) spectrum (400nm - 700nm) to near-infrared (NIR) spectrum (700nm - 1000nm), uniquely designed to facilitate research on facial skin-spectra reconstruction. By reconstructing skin spectra from RGB images, our dataset enables the study of hyperspectral skin analysis, such as melanin and hemoglobin concentrations, directly on the consumer device. Overcoming limitations of existing datasets, Hyper-Skin consists of diverse facial skin data collected with a pushbroom hyperspectral camera. With 330 hyperspectral cubes from 51 subjects, the dataset covers the facial skin from different angles and facial poses. Each hyperspectral cube has dimensions of 1024$ imes$1024$ imes$448, resulting in millions of spectra vectors per image. The dataset, carefully curated in adherence to ethical guidelines, includes paired hyperspectral images and synthetic RGB images generated using real camera responses. We demonstrate the efficacy of our dataset by showcasing skin spectra reconstruction using state-of-the-art models on 31 bands of hyperspectral data resampled in the VIS and NIR spectrum. This Hyper-Skin dataset would be a valuable resource to NeurIPS community, encouraging the development of novel algorithms for skin spectral reconstruction while fostering interdisciplinary collaboration in hyperspectral skin analysis related to cosmetology and skin's well-being. Instructions to request the data and the related benchmarking codes are publicly available at: \url{https://github.com/hyperspectral-skin/Hyper-Skin-2023}.

研究动机与目标

• 为解决公开可用、多样化且合乎伦理的可见光与近红外光谱范围内的面部高光谱皮肤数据集匮乏的问题。
• 支持开发深度学习模型，从消费级RGB图像重建高保真皮肤光谱反射率。
• 为美容学、皮肤病学和个人皮肤健康等应用提供低成本、可访问的高光谱皮肤分析支持。
• 提供一个包含配对高光谱与合成RGB数据的基准数据集，用于训练和评估光谱重建算法。

提出的方法

• 使用推扫式高光谱相机（Specim FX10）采集面部高光谱数据，覆盖400–1000 nm波段，共448个光谱波段。
• 利用28种真实相机响应函数生成合成RGB图像，以模拟消费级智能手机成像条件。
• 从51名受试者处采集数据，涵盖多种面部姿态和角度，确保1024×1024×448高光谱立方体在空间与光谱上的多样性。
• 实施严格的伦理规范，包括知情同意、通过受试者ID进行匿名化处理，并获得机构伦理审查委员会批准。
• 在数据集上训练最先进的深度学习模型，从RGB输入重建高光谱数据，以光谱角映射（SAM）作为关键评估指标。
• 开展消融研究，评估背景存在对重建性能的影响，结果表明去除背景后性能显著提升。

Figure 1: A glimpse of our Hyper-Skin dataset, covering the skin spectra in the visible spectrum (400nm - 700nm) and near-infrared spectrum (700nm - 1000nm).

实验结果

研究问题

• RQ1 一个覆盖可见光与近红外光谱的高光谱数据集，能否实现从消费级RGB图像准确重建面部皮肤反射率？
• RQ2 近红外波段（700–1000 nm）的引入在多大程度上提升了重建皮肤光谱的保真度与生理相关性？
• RQ3 RGB图像中的背景干扰在多大程度上降低了光谱重建模型的性能？
• RQ4 不同相机响应函数对合成RGB数据的真实性与模型泛化能力有何影响？
• RQ5 在Hyper-Skin上训练的模型能否泛化至真实智能手机拍摄的RGB图像，从而实现在消费级设备上的实际部署？

主要发现

• 在Hyper-Skin数据集上微调模型后，重建性能显著提升，光谱角映射（SAM）值降低，表明光谱保真度更高。
• 当输入RGB图像中的背景被移除后，模型性能进一步提升，凸显了背景干扰对重建精度的负面影响。
• 包含近红外（NIR）光谱（700–1000 nm）显著提升了对黑色素与血红蛋白浓度等生理参数的估计准确性。
• 利用真实相机响应函数生成的合成RGB图像，有效支持了模型在真实智能手机拍摄图像上的泛化能力。
• 成功实现了从真实智能手机自拍图像中重建皮肤光谱反射率，验证了训练模型的实际适用性。
• 该数据集实现了在VIS与NIR波段中31个波段的高保真重建，显著提升了光谱一致性和空间细节。

Figure 2: The image on the right illustrates our experimental setup for data collection, while the accompanying schematic representation provides a visual depiction of the setup.