[论文解读] Deep Linear Discriminant Analysis

Matthias Dorfer, Rainer Kelz+1 more|arXiv (Cornell University)|Nov 15, 2015

Machine Learning and Data Classification参考文献 17被引用 22

一句话总结

本文提出深度线性判别分析（DeepLDA），一种将线性判别分析（LDA）作为端到端目标集成到深度神经网络框架中的方法，用于学习线性可分的潜在表征。通过反向传播优化LDA散度矩阵的特征值结构，DeepLDA增强了特征的可分性，在MNIST和CIFAR-10上达到最先进性能，并在全监督设置下于STL-10上比交叉熵训练高出超过9%。

ABSTRACT

We introduce Deep Linear Discriminant Analysis (DeepLDA) which learns linearly separable latent representations in an end-to-end fashion. Classic LDA extracts features which preserve class separability and is used for dimensionality reduction for many classification problems. The central idea of this paper is to put LDA on top of a deep neural network. This can be seen as a non-linear extension of classic LDA. Instead of maximizing the likelihood of target labels for individual samples, we propose an objective function that pushes the network to produce feature distributions which: (a) have low variance within the same class and (b) high variance between different classes. Our objective is derived from the general LDA eigenvalue problem and still allows to train with stochastic gradient descent and back-propagation. For evaluation we test our approach on three different benchmark datasets (MNIST, CIFAR-10 and STL-10). DeepLDA produces competitive results on MNIST and CIFAR-10 and outperforms a network trained with categorical cross entropy (same architecture) on a supervised setting of STL-10.

研究动机与目标

• 开发一种利用线性判别分析（LDA）判别特性的深度学习框架，用于端到端表征学习。
• 通过重构目标函数，解决标准LDA在强调类间大距离的同时导致邻近类别混淆的局限性。
• 使深度神经网络能够学习在特征空间所有维度上具有均衡判别方差的潜在表征。
• 通过基于LDA的目标函数而非标准交叉熵损失来优化类可分性，从而提升分类性能。
• 在MNIST、CIFAR-10和STL-10等标准基准数据集上验证该方法的有效性。

提出的方法

• 该方法构建了一个深度神经网络，其最终层的特征通过广义LDA特征值问题作为目标函数进行优化。
• 目标函数通过最大化类间散度与类内散度的比值来实现，该比值源自LDA特征值问题，以促进类内方差降低和类间方差升高。
• 损失函数可微分，并通过网络反向传播，支持使用随机梯度下降进行端到端训练。
• 该方法通过直接优化散度矩阵的特征结构，避免了启发式加权方案，确保判别方差在所有潜在维度上均匀分布。
• 该框架在所有实验中采用共享网络架构，仅损失函数在CCE与DeepLDA之间有所不同。
• 该方法在三个数据集上进行评估：MNIST、CIFAR-10和STL-10，并对图像分辨率和特征值动态进行了消融研究。

实验结果

研究问题

• RQ1 将LDA特征值优化问题集成到深度神经网络中，是否能提升特征可分性和分类性能？
• RQ2 在不同数据集和图像分辨率下，DeepLDA与标准分类交叉熵训练相比，在泛化能力和鲁棒性方面表现如何？
• RQ3 与标准训练相比，该方法是否在潜在维度上更均匀地分布了判别方差？
• RQ4 输入图像尺寸对DeepLDA性能有何影响，特别是在STL-10这类低数据量场景下？
• RQ5 DeepLDA学习到的表征在多大程度上表现出低类内方差和高类间方差的理想特性？

主要发现

• DeepLDA在MNIST和CIFAR-10上实现了具有竞争力的分类准确率，性能与最先进方法相当。
• 在STL-10数据集上，DeepLDA在全监督设置下比标准分类交叉熵训练高出超过9%的测试集准确率。
• 该方法在较大图像（96×96）上表现最佳，而在下采样后的32×32图像上性能下降，表明其对输入分辨率存在依赖性。
• 与CCE训练模型相比，DeepLDA表征的特征值结构显示出更均衡的判别方差分布。
• 训练过程中，通过特征值解释的判别方差大小与分类准确率强相关，证实了该方法目标的有效性。
• 潜在空间表征的可视化结果表明，DeepLDA学习到的特征具有低类内方差和高类间分离性，符合LDA的理论预期。