[论文解读] lfda: An R Package for Local Fisher Discriminant Analysis and Visualization

Yuan Tang, Wenxuan Li|arXiv (Cornell University)|Dec 11, 2016

Face and Expression Recognition参考文献 6被引用 9

一句话总结

本论文介绍了 lfda R 包，用于局部费雪判别分析（LFDA）及其变体，包括核 LFDA 和半监督 LFDA，实现了保留类内局部结构的同时最大化类间可分性的监督降维。该包通过 ggfortify 和 rgl 集成二维和三维可视化，为研究人员提供了探索性数据分析和机器学习预处理的便捷工具，在多模态数据上表现出更优性能。

ABSTRACT

Local Fisher discriminant analysis is a localized variant of Fisher discriminant analysis and it is popular for supervised dimensionality reduction method. lfda is an R package for performing local Fisher discriminant analysis, including its variants such as kernel local Fisher discriminant analysis and semi-supervised local Fisher discriminant analysis. It also provides visualization functions to easily visualize the dimension reduction results by using either rgl for 3D visualization or ggfortify for 2D visualization in ggplot2 style.

研究动机与目标

• 为解决传统费雪判别分析在处理多模态数据分布时的局限性。
• 提供一个统一的 R 包，实现 LFDA 及其变体，用于监督和半监督降维。
• 通过二维（ggplot2 风格）和三维（rgl）渲染，实现降维数据的直观可视化。
• 通过核化 LFDA 支持非线性数据结构，通过半监督学习在低标注数据场景下提升鲁棒性。
• 与现有 R 生态系统（如 ggfortify 和 dml）集成，以增强可重现性并支持对比分析。

提出的方法

• LFDA 通过使用 k-最近邻亲和度定义局部类内和类间散度矩阵，将费雪判别分析与局部保持投影相结合。
• 通过求解涉及局部散度矩阵的广义特征值问题计算变换矩阵，以最大化类间可分性并最小化类内散度。
• 核 LFDA 通过使用高斯核矩阵将数据映射到更高维空间，扩展了 LFDA，实现非线性可分性。
• 半监督 LFDA 引入 beta 参数以平衡标注和未标注数据的影响，在标注数据较少的场景下具有正则化效果。
• 通过 rgl 实现三维绘图，通过 ggfortify 实现二维 ggplot2 风格绘图，支持标注数据的颜色区分和图形边框自定义。
• 该包支持使用训练好的距离矩阵对新数据进行预测，确保跨数据集的变换一致性。

实验结果

研究问题

• RQ1 LFDA 是否能有效保留多模态数据中的类内局部结构，同时增强类间可分性？
• RQ2 与标准 LFDA 相比，核 LFDA 在非线性可分数据上的性能提升程度如何？
• RQ3 当仅有少量标注样本时，半监督 LFDA 在多大程度上提升了模型的鲁棒性？
• RQ4 lfda 中的可视化工具如何支持高维数据集的可解释性和探索性数据分析？
• RQ5 lfda 与 ggfortify 和 dml 的集成是否能简化 R 中的对比分析和流程开发？

主要发现

• lfda 包成功实现了局部费雪判别分析及其变体，为多模态数据的有效降维提供了支持。
• 核 LFDA 在捕捉非线性关系方面尤为有效，但在线性可分数据（如 iris 数据集）上可能存在过拟合现象。
• 当 beta = 0.1 时，半监督 LFDA 展现出自然的正则化效应，在标注数据稀缺时提升了模型稳定性。
• 通过 rgl 和 ggfortify 实现的可视化功能支持对降维后数据的直观 3D 和 2D 探索，支持按类别着色和边框设置。
• 与 ggfortify 的集成使得 lfda 模型输出可无缝使用标准 ggplot2 风格的美学属性和绘图函数。
• 该包具有可扩展性，并已设计为未来可与 dml 包集成，便于对比分析距离度量学习算法。