[论文解读] Learning Invariant Color Features for Person Re-Identification

Rahul Rama Varior, Gang Wang+1 more|arXiv (Cornell University)|Oct 4, 2014

Video Surveillance and Tracking Methods参考文献 20被引用 9

一句话总结

本文提出了一种数据驱动的联合学习框架 JLCF，通过联合优化线性变换和稀疏编码字典来编码像素值，学习光照不变的色彩特征，以实现行人重识别。该方法在 ViPER、Person Re-ID 2011 和 CAVIAR4-REID 数据集上，结合深度特征时，性能优于所有光照不变色彩空间，达到最先进水平。

ABSTRACT

Matching people across multiple camera views known as person re-identification, is a challenging problem due to the change in visual appearance caused by varying lighting conditions. The perceived color of the subject appears to be different with respect to illumination. Previous works use color as it is or address these challenges by designing color spaces focusing on a specific cue. In this paper, we propose a data driven approach for learning color patterns from pixels sampled from images across two camera views. The intuition behind this work is that, even though pixel values of same color would be different across views, they should be encoded with the same values. We model color feature generation as a learning problem by jointly learning a linear transformation and a dictionary to encode pixel values. We also analyze different photometric invariant color spaces. Using color as the only cue, we compare our approach with all the photometric invariant color spaces and show superior performance over all of them. Combining with other learned low-level and high-level features, we obtain promising results in ViPER, Person Re-ID 2011 and CAVIAR4REID datasets.

研究动机与目标

• 解决行人重识别中光照变化带来的挑战，该问题会导致不同摄像头视角下感知颜色失真。
• 克服手工设计色彩空间以及 RGB/HSV/YUV 直方图对光照变化敏感的局限性。
• 开发一种数据驱动框架，通过联合优化变换与编码，学习对光照不变的色彩特征。
• 证明联合学习变换与字典可提升鲁棒性与性能，优于独立学习方法。
• 表明将色彩恒常性融入特征学习过程可显著提升重识别准确率。

提出的方法

• 将色彩特征学习建模为包含线性变换与稀疏编码字典的联合优化问题。
• 采用基于自编码器的框架，将三维 RGB 像素值映射到更高维空间，以增强表征能力。
• 应用稀疏编码，利用共享字典对变换后的像素值进行编码，确保相似颜色获得相似编码。
• 在目标函数中引入色彩恒常性项，以最小化同一颜色在不同光照下像素的编码误差。
• 对局部区域内的编码特征进行池化，并拼接形成整体图像表征。
• 将框架扩展为多层结构以学习分层特征，并与自编码器及卷积神经网络结合，进一步提升性能。

实验结果

研究问题

• RQ1 数据驱动方法能否联合学习线性变换与字典，以生成光照不变的色彩特征？
• RQ2 所提出的联合学习框架在重识别准确率上，与手工设计的光照不变色彩空间相比表现如何？
• RQ3 在基准数据集上，将色彩恒常性融入特征学习过程能在多大程度上提升性能？
• RQ4 与独立学习相比，联合优化变换与字典是否能获得更优结果？
• RQ5 当与其他学习到的低级与高级特征结合时，该方法的有效性如何？

主要发现

• 所提出的 JLCF 方法在 ViPER 数据集上达到 78.17% 的 rank-50 准确率，优于所有基线光照不变色彩空间。
• 在 Person Re-ID 2011 数据集上，JLCF 达到 99.36% 的 rank-20 准确率，显著超越次优方法（SSCDL 的 97.9%）。
• 当与自编码器和卷积神经网络结合时，该方法在 Person Re-ID 2011 上实现 100% 的 rank-20 准确率，展现出强大的泛化能力。
• 联合学习变换与字典相比独立学习，性能显著提升，在 ViPER 上 rank-1 准确率提高 5.5%。
• 移除色彩恒常性项后性能显著下降，证实其在实现光照不变性中的关键作用。
• 在所有数据集和评估指标上，该方法均优于所有评估的光照不变色彩空间，包括 CRULE、MWEXT 等。