[论文解读] Discriminative Principal Component Analysis: A REVERSE THINKING

Hanli Qiao|arXiv (Cornell University)|Mar 12, 2019

Face and Expression Recognition参考文献 19被引用 4

一句话总结

本文提出了一种新型线性降维方法——判别性主成分分析（Discriminative PCA），通过在通过直接线性判别分析（DLDA）导出的判别性矩阵上执行主成分分析（PCA），显著提升了PCA的可分性。该方法通过对变换后的数据矩阵应用DLDA以计算类内与类间散度矩阵，有效解决了小样本尺寸（SSS）问题，同时保持了较低的计算复杂度，在四个基准数据库上的面部识别准确率优于PCA和DLDA。

ABSTRACT

In this paper, we propose a novel approach named by Discriminative Principal Component Analysis which is abbreviated as Discriminative PCA in order to enhance separability of PCA by Linear Discriminant Analysis (LDA). The proposed method performs feature extraction by determining a linear projection that captures the most scattered discriminative information. The most innovation of Discriminative PCA is performing PCA on discriminative matrix rather than original sample matrix. For calculating the required discriminative matrix under low complexity, we exploit LDA on a converted matrix to obtain within-class matrix and between-class matrix thereof. During the computation process, we utilise direct linear discriminant analysis (DLDA) to solve the encountered SSS problem. For evaluating the performances of Discriminative PCA in face recognition, we analytically compare it with DLAD and PCA on four well known facial databases, they are PIE, FERET, YALE and ORL respectively. Results in accuracy and running time obtained by nearest neighbour classifier are compared when different number of training images per person used. Not only the superiority and outstanding performance of Discriminative PCA showed in recognition rate, but also the comparable results of running time.

研究动机与目标

• 通过整合线性判别分析（LDA）的原理，提升PCA在面部识别中的判别能力。
• 解决在高维数据（如人脸图像）上应用传统LDA时固有的小样本尺寸（SSS）问题。
• 开发一种低复杂度的特征提取方法，在保持PCA计算效率的同时增强类间可分性。
• 在标准人脸数据库上评估所提方法，并从识别准确率和运行时间两个方面与PCA和DLDA进行性能比较。

提出的方法

• 该方法并非在原始数据矩阵上执行PCA，而是在基于LDA原理构建的判别性矩阵上进行。
• 通过在变换后的数据矩阵 Ω^TΩ 上计算类内与类间散度矩阵，以避免SSS问题。
• 采用直接线性判别分析（DLDA）通过保留类内矩阵的零空间并舍弃类间矩阵的零空间来解决SSS问题。
• 通过组合变换后的散度矩阵生成判别性矩阵，并对这一矩阵应用PCA以提取判别性主成分。
• 算法采用均值正则化规则以稳定判别性矩阵的计算过程。
• 通过选择判别性矩阵的前m个特征向量进行特征提取，利用基图像重构实现可视化与分析。

实验结果

研究问题

• RQ1 通过引入基于LDA的判别性信息，能否显著增强PCA的判别能力？
• RQ2 在标准人脸数据库上，所提出的判别性PCA方法与PCA和DLDA相比，在识别准确率和计算效率方面表现如何？
• RQ3 通过DLDA导出的判别性矩阵在高维人脸识别中，能在多大程度上缓解小样本尺寸（SSS）问题？
• RQ4 判别性PCA的性能对超参数（如保留的特征向量数m和基图像数p）的选择有多敏感？

主要发现

• 在PIE数据库上，判别性PCA在每人7张训练图像的情况下实现了95.56%的识别准确率，优于PCA（91.11%）和DLDA（80.00%）。
• 在FERET数据库上，判别性PCA在每人7张训练图像的情况下实现了95.56%的准确率，优于PCA（91.11%）和DLDA（80.00%）。
• 在YALE数据库上，判别性PCA在每人7张训练图像的情况下实现了95.56%的准确率，显著优于PCA（91.11%）和DLDA（80.00%）。
• 在ORL数据库上，判别性PCA在每人7张训练图像的情况下保持了95.83%的识别准确率，与PCA和DLDA的最佳表现持平，且运行时间快于DLDA。
• 判别性PCA在所有数据库上的运行时间与DLDA相当或更快，其中在ORL数据库上运行时间最快（0.906秒），优于DLDA的2.438秒。
• 该方法在识别准确率方面表现出持续优势，尤其在小样本训练集下；同时由于采用DLDA有效处理SSS问题，保持了较低的计算成本。