[论文解读] Dimensionality Reduction by Local Discriminative Gaussians

Nathan Parrish, Maya R. Gupta|arXiv (Cornell University)|Jun 18, 2012

Face and Expression Recognition参考文献 10被引用 15

一句话总结

该论文提出局部判别高斯分布（LDG），一种监督线性降维方法，通过求解单一特征分解，最小化局部二次判别分析的留一法误差，从而实现对高维数据的高效扩展。LDG在分类准确率方面优于最先进方法，并在迁移学习设置下对分布偏移具有良好的泛化能力。

ABSTRACT

We present local discriminative Gaussian (LDG) dimensionality reduction, a supervised dimensionality reduction technique for classification. The LDG objective function is an approximation to the leave-one-out training error of a local quadratic discriminant analysis classifier, and thus acts locally to each training point in order to find a mapping where similar data can be discriminated from dissimilar data. While other state-of-the-art linear dimensionality reduction methods require gradient descent or iterative solution approaches, LDG is solved with a single eigen-decomposition. Thus, it scales better for datasets with a large number of feature dimensions or training examples. We also adapt LDG to the transfer learning setting, and show that it achieves good performance when the test data distribution differs from that of the training data.

研究动机与目标

• 开发一种可扩展的监督降维技术，通过建模局部数据结构来提升分类性能。
• 解决现有线性降维方法中迭代算法计算效率低下的问题。
• 通过适应与训练数据分布不同的测试数据分布，实现在迁移学习中的有效应用。
• 通过全局优化目标近似局部二次判别分析的留一法误差。
• 通过单次、非迭代的特征分解实现高性能，避免使用梯度下降或迭代求解器。

提出的方法

• LDG 构建一个近似局部二次判别分类器留一法误差的目标函数。
• 该方法为每个训练样本构建局部协方差矩阵，以局部方式建模类内紧凑性和类间分离性。
• 将局部类内与类间散度矩阵整合为全局优化问题。
• 通过单次广义特征分解求解，实现在大规模数据集上的快速计算。
• 通过将局部协方差估计适应到分布偏移的测试数据，将方法扩展至迁移学习。
• 该方法采用基于核的平滑方法，根据邻近点的局部判别潜力为其加权。

实验结果

研究问题

• RQ1 能否设计一种降维方法，直接最小化局部二次判别分析的留一法误差？
• RQ2 是否可能通过非迭代、单次特征分解方法实现最先进水平的分类性能？
• RQ3 LDG 在迁移学习场景下面对分布偏移时表现如何？
• RQ4 LDG 是否能在无需迭代优化的情况下高效扩展至高维数据集？
• RQ5 与全局方法相比，对类可分性的局部建模是否能提升泛化能力？

主要发现

• LDG 在基准数据集上的分类准确率与最先进线性降维方法相比具有竞争力或更优表现。
• 由于仅需一次特征分解，该方法计算效率高，无需迭代优化或梯度下降。
• 当测试数据分布与训练数据不同时，LDG 展现出强大的泛化性能，证实其在迁移学习中的有效性。
• 该方法有效建模了局部类结构，提升了相似与不相似数据点之间的判别能力。
• 实验结果表明，LDG 在标准和迁移学习设置下均优于 LDA、LPP 和 LDA+LPP 等方法。
• 即使在高维输入特征下，该方法仍保持高性能，证实其可扩展性。