[论文解读] Local Sliced-Wasserstein Feature Sets for Illumination-invariant Face Recognition

Yan Zhuang, Shiying Li+4 more|arXiv (Cornell University)|Feb 22, 2022

Face recognition and analysis被引用 4

一句话总结

本文提出了一种基于Radon累积分布变换（R-CDT）的局部切片-Wasserstein特征集的新型光照不变人脸识别方法。通过将局部图像梯度分布建模为R-CDT空间中的二维离散测度，该方法将光照引起的形变表示为凸子空间，从而在输运空间中实现基于最近子空间分类的鲁棒识别。该方法在具有挑战性的光照数据集上实现了最先进性能，在多个基准测试中优于现有方法。

ABSTRACT

We present a new method for face recognition from digital images acquired under varying illumination conditions. The method is based on mathematical modeling of local gradient distributions using the Radon Cumulative Distribution Transform (R-CDT). We demonstrate that lighting variations cause certain types of deformations of local image gradient distributions which, when expressed in R-CDT domain, can be modeled as a subspace. Face recognition is then performed using a nearest subspace in R-CDT domain of local gradient distributions. Experiment results demonstrate the proposed method outperforms other alternatives in several face recognition tasks with challenging illumination conditions. Python code implementing the proposed method is available, which is integrated as a part of the software package PyTransKit.

研究动机与目标

• 解决光照变化在人脸识别中持续存在的挑战，其对性能的负面影响甚至超过身份变化的影响。
• 开发一种理论基础坚实的、基于输运的特征表示方法，对局部图像梯度的光照形变具有不变性。
• 通过数学上严谨的子空间学习框架，在极端光照条件下实现鲁棒的人脸识别。
• 提供一种计算高效、数据高效且在多样化光照数据集上具有泛化能力的方法。
• 集成预处理技术如对数变换，并探索图像块的自适应加权以提升性能。

提出的方法

• 将输入的人脸图像划分为局部块，并为每个块计算二维离散梯度分布。
• 应用Radon累积分布变换（R-CDT），将局部梯度分布映射到具有凸化性质的输运友好空间。
• 在R-CDT域中，将梯度分布的光照形变建模为线性变换（缩放与平移）。
• 将每张图像表示为一组R-CDT变换后的梯度特征，并通过加权距离求和进行聚合。
• 在R-CDT特征空间中通过最近子空间方法执行分类，利用光照变化下分布的凸性。
• 将对数像素变换作为预处理步骤，以增强对光照变化的鲁棒性。

实验结果

研究问题

• RQ1 光照引起的局部图像梯度分布形变是否能在基于输运的特征空间中有效建模为凸子空间？
• RQ2 R-CDT变换是否能相比标准特征描述子更好地分离光照变化下的梯度分布？
• RQ3 在具有极端光照变化的基准数据集上，所提方法在多大程度上优于现有光照不变人脸识别技术？
• RQ4 引入对数变换预处理在多大程度上提升了R-CDT特征表示的鲁棒性？
• RQ5 通过自适应加权局部图像块，能否通过强调更具判别性的区域进一步提升识别准确率？

主要发现

• 所提方法在三个具有挑战性光照变化的基准数据集上表现优异，优于现有最先进方法。
• 在Yale人脸数据库中，当训练数据包含测试子集1和2的图像时，分类准确率达到82.51%，相比仅使用干净图像时的49.7%显著提升。
• 添加对数像素预处理后，分类准确率持续提高，尤其在高光照变化区域（如Yale数据集的测试子集4）提升最为显著。
• 理论分析证实，光照变化下局部梯度分布在R-CDT域中形成凸集，从而支持有效的子空间分类。
• 随着训练数据增加，性能持续提升，表明该方法不仅能捕捉简单的缩放和平移，还能建模更复杂的光照变化。
• 该方法展现出强大的泛化能力和数据效率，在训练数据有限时也能获得显著的准确率提升。