[论文解读] Linear and Quadratic Discriminant Analysis: Tutorial

Benyamin Ghojogh, Mark Crowley|arXiv (Cornell University)|Jun 1, 2019

Face and Expression Recognition参考文献 27被引用 83

一句话总结

本教程推导二元及多类情形下的LDA和QDA，将它们与度量学习及相关方法联系起来，并讨论参数估计及与Fisher FDA的等价性。还提供用于说明的仿真。

ABSTRACT

This tutorial explains Linear Discriminant Analysis (LDA) and Quadratic Discriminant Analysis (QDA) as two fundamental classification methods in statistical and probabilistic learning. We start with the optimization of decision boundary on which the posteriors are equal. Then, LDA and QDA are derived for binary and multiple classes. The estimation of parameters in LDA and QDA are also covered. Then, we explain how LDA and QDA are related to metric learning, kernel principal component analysis, Mahalanobis distance, logistic regression, Bayes optimal classifier, Gaussian naive Bayes, and likelihood ratio test. We also prove that LDA and Fisher discriminant analysis are equivalent. We finally clarify some of the theoretical concepts with simulations we provide.

研究动机与目标

• 解释LDA和QDA中用于类别分离的优化与边界形成。
• 在高斯假设下推导二元和多类分类的LDA和QDA。
• 给出LDA/QDA中先验、均值和协方差的估计过程。
• 将LDA/QDA与度量学习、马氏距离、核方法、FDA和贝叶斯最优分类器联系起来。
• 提供仿真以说明理论概念和边界行为。

提出的方法

• 通过使后验相等并推导高斯基判别方程来设定决策边界。
• 在协方差相等且高斯假设下推导LDA的线性决策边界。
• 当类别协方差不同时时推导QDA的二次决策边界。
• 给出先验、类别均值和类别特定协方差的参数估计（最大似然/矩估计及无偏变体）。
• 将LDA/QDA通过马氏距离和基于SVD的数据变换与度量学习联系起来。
• 讨论与FDA、核PCA以及贝叶斯/似然比检验（LRT）的等价性与关系。

实验结果

研究问题

• RQ1 在高斯假设下，LDA和QDA的决策边界形式是什么？
• RQ2 先验、均值和协方差估计如何影响LDA/QDA的边界与分类？
• RQ3 LDA/QDA与度量学习、马氏距离、FDA和核方法等相关方法之间的联系是什么？
• RQ4 在何种条件下LDA和QDA简化为简单的欧氏或基于度量的分类？
• RQ5 如何将LDA/QDA解释为诱导度量学习或流形学习的变换？

主要发现

• 当类协方差相等时，LDA产生线性决策边界，通过使用高斯似然函数使后验概率相等推导得到。
• 当类协方差不同时，QDA产生二次决策边界，边界以x的二次形式定义。
• LDA和QDA都可被视为通过类别特定协方差学习度量（马氏距离类型），或通过将协方差归一化为单位矩阵的数据变换。
• 当协方差相等且先验相等时，两种方法简化为基于距离的简单分类（到类别均值的欧氏距离）。
• 先验按比例缩放到类别均值的距离，按类别比例移动决策边界。
• LDA/QDA的参数估计遵循均值和协方差的标准ML/MOM方法，先验由类别频率估计。