[论文解读] Fisher and Kernel Fisher Discriminant Analysis: Tutorial

Benyamin Ghojogh, Fakhri Karray+1 more|arXiv (Cornell University)|Jun 22, 2019

Face and Expression Recognition参考文献 36被引用 17

一句话总结

本教程全面概述了费雪判别分析（Fisher Discriminant Analysis, FDA）及其核函数扩展——核费雪判别分析（Kernel FDA），解释了其数学基础、通过瑞利商（Rayleigh quotient）进行优化的方法，并阐明其与线性判别分析（Linear Discriminant Analysis, LDA）的等价性。内容涵盖投影、散布矩阵、子空间维度、对奇异性的鲁棒性，以及在人脸识别与动作识别中的应用，基于AT&T人脸数据集的仿真结果表明，FDA在类间分离性方面优于主成分分析（PCA）。

ABSTRACT

This is a detailed tutorial paper which explains the Fisher discriminant Analysis (FDA) and kernel FDA. We start with projection and reconstruction. Then, one- and multi-dimensional FDA subspaces are covered. Scatters in two- and then multi-classes are explained in FDA. Then, we discuss on the rank of the scatters and the dimensionality of the subspace. A real-life example is also provided for interpreting FDA. Then, possible singularity of the scatter is discussed to introduce robust FDA. PCA and FDA directions are also compared. We also prove that FDA and linear discriminant analysis are equivalent. Fisher forest is also introduced as an ensemble of fisher subspaces useful for handling data with different features and dimensionality. Afterwards, kernel FDA is explained for both one- and multi-dimensional subspaces with both two- and multi-classes. Finally, some simulations are performed on AT&T face dataset to illustrate FDA and compare it with PCA.

研究动机与目标

• 为研究人员和从业者提供一份关于费雪判别分析（FDA）及其核函数扩展的详细教程。
• 阐明FDA的数学公式，包括散布矩阵、投影以及通过瑞利商进行优化的过程。
• 建立FDA与线性判别分析（LDA）之间的等价性，以解决文献中常见的混淆问题。
• 引入对奇异散布矩阵具有鲁棒性的FDA变体，以提升泛化能力。
• 通过AT&T人脸数据集上的仿真以及真实世界应用（如人脸识别与手势识别）展示FDA与核FDA的有效性。

提出的方法

• 将FDA表述为在由p个向量张成的子空间上进行投影的问题，利用正交投影以最小化重构误差。
• 通过广义瑞利-里茨商推导出最优投影方向，从而导出涉及类间与类内散布矩阵的特征值问题。
• 针对二分类与多分类问题，引入散布矩阵（S_B 与 S_W）的概念，其维度受这些矩阵秩的限制。
• 通过Cholesky分解将广义特征值问题转化为标准形式，从而在正定性假设下实现高效计算。
• 通过正则化类内散布矩阵，提出鲁棒FDA，以应对高维、小样本场景下的奇异散布矩阵问题。
• 提出Fisher Forest作为集成方法，通过组合多个FDA子空间来处理具有不同特征维度的异构数据。

实验结果

研究问题

• RQ1 费雪判别分析如何被数学地表述为一个子空间投影问题，并通过最优方向选择实现？
• RQ2 FDA与线性判别分析（LDA）之间存在何种关系？为何二者等价？
• RQ3 核FDA如何通过核技巧与再生核希尔伯特空间（reproducing kernel Hilbert spaces）将FDA扩展至非线性特征空间？
• RQ4 在何种条件下散布矩阵会变得奇异？鲁棒FDA如何缓解此问题？
• RQ5 在类间可分性方面，FDA与PCA相比表现如何？真实数据集上的实证证据是什么？

主要发现

• FDA与LDA在数学上等价，二者均求解涉及类间与类内散布矩阵的同一广义特征值问题。
• FDA中的最优投影方向通过求解广义特征值问题 S_B w = λ S_W w 获得，其中w为最大化类间可分性的方向。
• FDA子空间的维度受类间散布矩阵秩的限制，对于c个类别，其最大维度为c−1。
• 在AT&T人脸数据集上的仿真结果表明，FDA在低维投影中实现的类间可分性优于PCA。
• 通过正则化类内散布矩阵实现的鲁棒FDA，能有效处理高维、小样本场景下的奇异散布矩阵问题。
• Fisher Forest作为FDA子空间的集成方法，通过结合多个具有不同特征集的低维投影，提升了在异构数据上的性能。