[論文レビュー] Hyper-Skin: A Hyperspectral Dataset for Reconstructing Facial Skin-Spectra from RGB Images

Pai Chet Ng, Zhixiang Chi+3 more|arXiv (Cornell University)|Oct 27, 2023

Optical Imaging and Spectroscopy Techniques被引用数 4

ひとこと要約

Hyper-Skin は、可視光（400–700 nm）および近赤外光（700–1000 nm）の波長をカバーする新しいハイパースペクトルデータセットを提供する。51名の被験者から得られた330個のハイパースペクトルキューブを含み、RGB画像から顔の皮膚スペクトルを再構築可能である。このデータセットは、28種類の実際のカメラ応答関数から生成された合成RGB画像と併用され、最先端のスペクトル再構築モデルを支援し、VISおよびNIR帯域において顕著な性能向上を達成する。特に背景を除去した場合に顕著な改善が見られる。

ABSTRACT

We introduce Hyper-Skin, a hyperspectral dataset covering wide range of wavelengths from visible (VIS) spectrum (400nm - 700nm) to near-infrared (NIR) spectrum (700nm - 1000nm), uniquely designed to facilitate research on facial skin-spectra reconstruction. By reconstructing skin spectra from RGB images, our dataset enables the study of hyperspectral skin analysis, such as melanin and hemoglobin concentrations, directly on the consumer device. Overcoming limitations of existing datasets, Hyper-Skin consists of diverse facial skin data collected with a pushbroom hyperspectral camera. With 330 hyperspectral cubes from 51 subjects, the dataset covers the facial skin from different angles and facial poses. Each hyperspectral cube has dimensions of 1024$ imes$1024$ imes$448, resulting in millions of spectra vectors per image. The dataset, carefully curated in adherence to ethical guidelines, includes paired hyperspectral images and synthetic RGB images generated using real camera responses. We demonstrate the efficacy of our dataset by showcasing skin spectra reconstruction using state-of-the-art models on 31 bands of hyperspectral data resampled in the VIS and NIR spectrum. This Hyper-Skin dataset would be a valuable resource to NeurIPS community, encouraging the development of novel algorithms for skin spectral reconstruction while fostering interdisciplinary collaboration in hyperspectral skin analysis related to cosmetology and skin's well-being. Instructions to request the data and the related benchmarking codes are publicly available at: \url{https://github.com/hyperspectral-skin/Hyper-Skin-2023}.

研究の動機と目的

• 可視光および近赤外光スペクトルをカバーする、公開可能で多様かつ倫理的に収集されたハイパースペクトル顔皮膚データセットの不足を解消すること。
• 消費者用RGB画像から高精細な皮膚スペクトル反射率を再構築できる深層学習モデルの開発を可能にすること。
• 化粧品学、皮膚科医学、および個人の皮膚の健康状態管理への応用を想定し、低コストでアクセス可能なハイパースペクトル皮膚分析を支援すること。
• トレーニングおよび評価のためのスペクトル再構築アルゴリズムのベンチマークデータセットとして、ペアドされたハイパースペクトルデータと合成RGBデータを提供すること。

提案手法

• 400–1000 nmの範囲にわたる448個のスペクトルバンドを持つプッシュブロム型ハイパースペクトルカメラ（Specim FX10）を用いて、顔のハイパースペクトルデータを取得した。
• 28種類の実際のカメラ応答関数を用いて、消費者用スマートフォンの撮影状況を模擬した合成RGB画像を生成した。
• 多様な顔のポーズや角度を考慮し、51名の被験者からデータを収集した。これにより、1024×1024×448のハイパースペクトルキューブに空間的およびスペクトル的な多様性を確保した。
• 厳格な倫理的プロトコルを適用し、被験者の同意、IDによる匿名化、および機関の倫理審査委員会の承認を取得した。
• スペクトル角マッパー（SAM）を主な評価指標として用い、RGB入力からハイパースペクトルデータを再構築するための最先端の深層学習モデルをこのデータセットでトレーニングした。
• バックグラウンドの存在が再構築性能に与える影響を評価するためのアブレーションスタディを実施し、バックグラウンドを除去した場合に性能が向上することを示した。

Figure 1: A glimpse of our Hyper-Skin dataset, covering the skin spectra in the visible spectrum (400nm - 700nm) and near-infrared spectrum (700nm - 1000nm).

実験結果

リサーチクエスチョン

• RQ1 可視光および近赤外光スペクトルをカバーするハイパースペクトルデータセットは、消費者用RGB画像から顔の皮膚反射率を正確に再構築可能か？
• RQ2 近赤外光（700–1000 nm）の波長を含めることで、再構築された皮膚スペクトルの忠実性および生理学的関連性はどのように向上するか？
• RQ3 RGB画像内のバックグラウンド干渉は、スペクトル再構築モデルの性能にどの程度悪影響を及えるか？
• RQ4 異なるカメラ応答関数の使用は、トレーニング用の合成RGBデータの現実性および汎用性にどのように影響するか？
• RQ5 Hyper-Skinでトレーニングされたモデルは、実際のスマートフォンRGB画像へも一般化可能であり、消費者デバイスへの実用的導入が可能か？

主な発見

• Hyper-Skinデータセットで再トレーニングしたモデルは、より低いスペクトル角マッパー（SAM）値を示し、スペクトル忠実度が著しく向上した。
• 入力RGB画像からバックグラウンドを除去した場合、モデルの性能が向上した。これは、バックグラウンド干渉が再構築精度に悪影響を及えることを示している。
• 近赤外（NIR）スペクトル（700–1000 nm）の導入により、メラニンやヘモグロビン濃度といった生理的パラメータの推定がより正確に可能になった。
• 実際のカメラ応答関数を用いて生成された合成RGB画像は、実際のスマートフォン撮影に一般化可能なモデルの有効なトレーニングを可能にした。
• 実際のスマートフォンのセルフィーからも皮膚スペクトル反射率の再構築に成功し、トレーニング済みモデルの実用的応用性を検証した。
• このデータセットにより、VISおよびNIR帯域にまたがる31バンドのハイパースペクトルデータ再構築において最先端の性能が達成され、スペクトルの一貫性と空間的詳細が顕著に向上した。

Figure 2: The image on the right illustrates our experimental setup for data collection, while the accompanying schematic representation provides a visual depiction of the setup.