[论文解读] Generalized two-dimensional linear discriminant analysis with regularization

Chun‐Na Li, Yuan‐Hai Shao+3 more|arXiv (Cornell University)|Jan 23, 2018

Face and Expression Recognition被引用 9

一句话总结

该论文提出广义二维线性判别分析正则化方法（G2DLDA），一种鲁棒且可泛化的框架，采用任意Lp-范数计算类间与类内散度，并引入正则化项以克服病态问题并提升泛化性能。该方法通过一个收敛的迭代算法求解，适用于1≤p≤2范围，相较于2DLDA与L12DLDA，在含噪人脸数据库上表现出更优性能。

ABSTRACT

Recent advances show that two-dimensional linear discriminant analysis (2DLDA) is a successful matrix based dimensionality reduction method. However, 2DLDA may encounter the singularity issue theoretically and the sensitivity to outliers. In this paper, a generalized Lp-norm 2DLDA framework with regularization for an arbitrary $p>0$ is proposed, named G2DLDA. There are mainly two contributions of G2DLDA: one is G2DLDA model uses an arbitrary Lp-norm to measure the between-class and within-class scatter, and hence a proper $p$ can be selected to achieve the robustness. The other one is that by introducing an extra regularization term, G2DLDA achieves better generalization performance, and solves the singularity problem. In addition, G2DLDA can be solved through a series of convex problems with equality constraint, and it has closed solution for each single problem. Its convergence can be guaranteed theoretically when $1\leq p\leq2$. Preliminary experimental results on three contaminated human face databases show the effectiveness of the proposed G2DLDA.

研究动机与目标

• 解决当样本数量相对于特征维度较小时，二维线性判别分析（2DLDA）中出现的病态问题。
• 通过引入正则化项控制模型复杂度、减少过拟合，从而提升泛化性能。
• 通过在散度计算中用任意Lp-范数（p>0）替代标准L2-范数，增强对异常值的鲁棒性。
• 为非凸的G2DLDA问题设计一个收敛且高效的优化算法，适用范围为1≤p≤2。
• 提供一个统一的广义框架，通过结合Lp-范数的鲁棒性与正则化，扩展2DLDA与L12DLDA。

提出的方法

• 提出一种广义2DLDA模型，利用Lp-范数度量类间与类内散度，通过调节p>0实现灵活的鲁棒性控制。
• 引入正则化项||W||_p^p以稳定解并防止病态，提升泛化性能。
• 通过使用代理函数方法，将优化问题转化为一系列凸子问题。
• 设计一种迭代算法，交替更新投影矩阵W与辅助变量，确保在1≤p≤2范围内的收敛性。
• 在每一步使用闭式解，以保证计算效率与理论收敛性保障。
• 采用非贪婪的连续凸逼近技术，处理Lp-范数目标函数的非凸性。

实验结果

研究问题

• RQ1 具有正则化的广义Lp-范数2DLDA框架能否有效克服标准2DLDA中固有的病态问题？
• RQ2 Lp-范数中p值的选择如何影响模型对异常值与噪声数据的鲁棒性？
• RQ3 正则化项的引入是否显著提升了2DLDA在测试数据上的泛化性能？
• RQ4 所提出的迭代算法是否在广泛p值范围内（特别是1≤p≤2）具有收敛性？
• RQ5 该广义框架在各种噪声条件下，能否在准确率上超越现有2DLDA变体（如L12DLDA与2DLDA）？

主要发现

• 在含30%椒盐噪声的ORL数据库上，G2DLDA在p=1.5、12维降维下达到87.50%准确率，优于2DLDA（80.00%）与L12DLDA（73.13%）。
• 在AR数据库（0.1方差高斯噪声）上，G2DLDA在p=1.5、3维降维下达到85.67%准确率，超过2DLDA（81.33%）与L12DLDA（82.33%）。
• 在FERET数据库（30%黑块遮挡）上，G2DLDA在p=1、3维降维下达到33.17%准确率，显著优于2DLDA（30.67%）与L12DLDA（23.00%）。
• 最优p值因数据集而异：ORL为p=1.5，AR为p=1.5，FERET为p=1，表明p值具有依赖数据的鲁棒性调节作用。
• 正则化项有效防止了病态问题，且迭代算法在1≤p≤2范围内可靠收敛，与理论预期一致。
• G2DLDA在p=1时于AR数据库（88.67%准确率）与FERET数据库（10%噪声下40.50%准确率）取得最高准确率，展现出强大的泛化与鲁棒性能。