[论文解读] Beyond Gauss: Image-Set Matching on the Riemannian Manifold of PDFs

Mehrtash Harandi, Mathieu Salzmann+1 more|arXiv (Cornell University)|Jul 31, 2015

Face and Expression Recognition参考文献 20被引用 12

一句话总结

本文提出通过核密度估计将图像集建模为概率密度函数（PDF），并在PDF的黎曼流形上通过Csiszár f-散度（特别是Hellinger散度和Jeffrey散度）进行匹配。该方法引入了用于分类的正定核，并提出一种监督式降维方法，以保留类别可分的f-散度结构，在基于视频的人脸识别和动态纹理分类任务中优于当前最先进方法。

ABSTRACT

State-of-the-art image-set matching techniques typically implicitly model each image-set with a Gaussian distribution. Here, we propose to go beyond these representations and model image-sets as probability distribution functions (PDFs) using kernel density estimators. To compare and match image-sets, we exploit Csiszar f-divergences, which bear strong connections to the geodesic distance defined on the space of PDFs, i.e., the statistical manifold. Furthermore, we introduce valid positive definite kernels on the statistical manifolds, which let us make use of more powerful classification schemes to match image-sets. Finally, we introduce a supervised dimensionality reduction technique that learns a latent space where f-divergences reflect the class labels of the data. Our experiments on diverse problems, such as video-based face recognition and dynamic texture classification, evidence the benefits of our approach over the state-of-the-art image-set matching methods.

研究动机与目标

• 通过核密度估计将图像集表示为非参数概率密度函数（PDF），以克服高斯建模在图像集匹配中的局限性。
• 利用Csiszár f-散度实现鲁棒的图像集匹配，因其对微分同胚变换不变，且与统计流形上的测地距离具有几何关联。
• 在统计流形上构建有效的正定核，以支持基于核的分类方法在图像集匹配中的应用。
• 设计一种监督式降维方法，学习一个潜在空间，使f-散度与类别标签对齐，从而增强判别能力。

提出的方法

• 使用核密度估计将每个图像集建模为PDF，以捕捉图像特征的复杂非高斯分布。
• 采用Hellinger散度和Jeffrey f-散度作为PDF之间的相似性度量，利用其对微分同胚变换的不变性以及与Fisher-Rao度量的几何关联。
• 基于f-散度相似性在统计流形上构建正定核，从而支持SVM等核方法在分类中的应用。
• 提出一种在Grassmann流形上的监督式降维方法，通过优化映射矩阵W来保留类别可分的f-散度结构。
• 利用蒙特卡洛期望与Sigmoid类变换T(W^T x)的导数，推导出f-散度关于变换矩阵W的闭式梯度。
• 使用黎曼优化在Grassmann流形上优化目标函数，以学习一个低维子空间，使f-散度能反映类别亲和性。

实验结果

研究问题

• RQ1 通过核密度估计实现的非参数PDF表示是否能超越高斯假设，在图像集匹配中取得更好效果？
• RQ2 Hellinger散度和Jeffrey散度等f-散度与传统度量相比，在统计流形上捕捉分布差异方面表现如何？
• RQ3 能否基于f-散度在PDF的流形上定义有效的正定核，以实现高效的分类？
• RQ4 能否设计一种监督式降维方法，以在低维空间中保留f-散度的判别能力？
• RQ5 所提出的方法是否在真实世界中的视频与纹理识别任务中优于当前最先进图像集匹配技术？

主要发现

• 所提出的基于PDF的图像集匹配方法在基于视频的人脸识别和动态纹理分类任务中，性能优于当前最先进方法。
• Hellinger散度和Jeffrey散度对微分同胚变换表现出强不变性，使其对光照变化和采集条件变化具有鲁棒性。
• 推导出的f-散度梯度使得在Grassmann流形上进行监督式降维的优化更加有效，提升了类别可分性。
• 基于f-散度构建的正定核使核机器能够实现高效分类，提升了匹配精度。
• 实验结果在多个基准测试中均显示一致性能提升，验证了在黎曼流形上将图像集建模为非参数PDF的有效性。