[论文解读] Skin Segmentation from NIR Images using Unsupervised Domain Adaptation through Generative Latent Search.

Prashant Pandey, Aayush Kumar Tyagi+2 more|arXiv (Cornell University)|Jun 15, 2020

Face recognition and analysis被引用 8

一句话总结

本文提出了一种用于近红外（NIR）图像皮肤分割的无监督域自适应方法，利用源域（可见红通道）训练模型，而无需依赖标注的NIR数据。通过在变分自编码器的潜在空间中搜索目标NIR图像的‘最近克隆’，该方法实现了有效的域自适应，在两个新创建的NIR皮肤分割数据集上优于当前最先进的无监督域自适应方法。

ABSTRACT

Segmentation of the pixels corresponding to human skin is an essential first step in multiple applications ranging from surveillance to heart-rate estimation from remote-photoplethysmography. However, the existing literature considers the problem only in the visible-range of the EM-spectrum which limits their utility in low or no light settings where the criticality of the application is higher. To alleviate this problem, we consider the problem of skin segmentation from the Near-infrared images. However, Deep learning based state-of-the-art segmentation techniques demands large amounts of labelled data that is unavailable for the current problem. Therefore we cast the skin segmentation problem as that of target-independent unsupervised domain adaptation (UDA) where we use the data from the Red-channel of the visible-range to develop skin segmentation algorithm on NIR images. We propose a method for target-independent segmentation where the 'nearest-clone' of a target image in the source domain is searched and used as a proxy in the segmentation network trained only on the source domain. We prove the existence of 'nearest-clone' and propose a method to find it through an optimization algorithm over the latent space of a Deep generative model based on variational inference. We demonstrate the efficacy of the proposed method for NIR skin segmentation over the state-of-the-art UDA segmenation methods on the two newly created skin segmentation datasets in NIR domain despite not having access to the target NIR data.

研究动机与目标

• 解决在低光照条件下近红外（NIR）图像中皮肤分割缺乏标注数据的问题，此类应用在此类环境中最为关键。
• 克服现有深度学习方法依赖大量标注数据的局限，而这些数据在NIR皮肤分割中并不可用。
• 开发一种目标无关的无监督域自适应（UDA）框架，将可见光谱（红通道）的知识迁移至NIR域。
• 在无需目标域（NIR）任何标注的情况下，实现在NIR图像中的鲁棒皮肤分割。
• 在两个新创建的、公开可用的NIR皮肤分割数据集上展示所提方法的有效性。

提出的方法

• 将皮肤分割问题表述为一种目标无关的无监督域自适应（UDA）问题，利用来自可见光谱（红通道）的标注数据训练模型，以适用于未标注的NIR图像。
• 引入‘最近克隆’的概念——即在变分自编码器（VAE）潜在空间中，与目标NIR图像最相似的源域合成图像。
• 通过最小化重建误差和分布差异，对VAE的潜在空间进行优化，以找到目标图像的最近克隆。
• 将最近克隆用作分割网络的代理输入，该网络仅在源域（可见红通道）上进行训练，从而实现对目标域（NIR）的适应。
• 在弱假设下证明潜在空间中最近克隆的存在性，确保优化方法的可行性。
• 仅使用源域（可见红通道）标注数据训练分割网络，同时通过最近克隆代理推理目标域（NIR）图像的预测结果。

实验结果

研究问题

• RQ1 在未使用目标域标注的情况下，基于可见红通道图像训练的源域模型能否有效泛化至未标注的近红外（NIR）图像？
• RQ2 是否可能通过潜在空间优化，在源域中找到一个有意义的代理图像（即与目标NIR图像在潜在空间中高度相似），以实现域自适应？
• RQ3 在变分自编码器的潜在空间中进行最近克隆搜索，是否能相比现有UDA方法提升NIR图像上的皮肤分割性能？
• RQ4 在缺乏目标域标签的情况下，该方法在NIR域中面对多样的光照条件和肤色变化时是否具有鲁棒性？
• RQ5 尽管目标域中完全缺乏标注数据，该方法是否仍能在NIR皮肤分割任务中实现最先进性能？

主要发现

• 所提方法在两个新创建的NIR皮肤分割数据集上实现了最先进性能，优于现有的无监督域自适应方法。
• 通过在潜在空间中使用最近克隆代理，实现了从可见光域到NIR域的有效适应，即使在无任何标注NIR数据的情况下亦可实现。
• 该方法在低光照环境下对多样化肤色和光照条件表现出强大的泛化能力。
• 基于优化的VAE潜在空间最近克隆搜索在理论上存在且在实践中有效，已通过理论证明和实证验证。
• 当通过最近克隆代理引导时，仅在可见红通道数据上训练的分割网络能有效泛化至NIR图像。
• 结果证实，基于潜在空间代理生成的目标无关UDA是真实世界低光照应用中NIR皮肤分割的一种可行且强大的方法。