[论文解读] High-Dimensional Regularized Discriminant Analysis

John A. Ramey, Caleb K. Stein+2 more|arXiv (Cornell University)|Feb 3, 2016

Gene expression and cancer classification参考文献 40被引用 3

一句话总结

本论文提出高维正则化线性判别分析（HDRDA），一种在 p > N 的小样本高维数据中计算高效且可解释的分类器。通过将 RDA 重新参数化，将训练观测值聚合到类协方差估计中，并通过零空间消除法降低维度，HDRDA 实现了在特征数 p 上的线性计算复杂度，在准确率和速度上均优于 RDA 及其他分类器，当 p = 5000 时，速度最快可达 RDA 的 502.786 倍。

ABSTRACT

Regularized discriminant analysis (RDA), proposed by Friedman (1989), is a widely popular classifier that lacks interpretability and is impractical for high-dimensional data sets. Here, we present an interpretable and computationally efficient classifier called high-dimensional RDA (HDRDA), designed for the small-sample, high-dimensional setting. For HDRDA, we show that each training observation, regardless of class, contributes to the class covariance matrix, resulting in an interpretable estimator that borrows from the pooled sample covariance matrix. Moreover, we show that HDRDA is equivalent to a classifier in a reduced-feature space with dimension approximately equal to the training sample size. As a result, the matrix operations employed by HDRDA are computationally linear in the number of features, making the classifier well-suited for high-dimensional classification in practice. We demonstrate that HDRDA is often superior to several sparse and regularized classifiers in terms of classification accuracy with three artificial and six real high-dimensional data sets. Also, timing comparisons between our HDRDA implementation in the sparsediscrim R package and the standard RDA formulation in the klaR R package demonstrate that as the number of features increases, the computational runtime of HDRDA is drastically smaller than that of RDA.

研究动机与目标

• 解决传统正则化线性判别分析（RDA）在高维小样本情形（p > N）下计算不可行且缺乏可解释性的问题。
• 开发一种分类器，保留 RDA 正则化优势的同时，实现高效计算，并清晰揭示训练观测值对协方差估计的贡献。
• 通过消除冗余的零空间分量，降低 RDA 中矩阵运算的维度，实现在特征数量上的线性时间计算。
• 证明 HDRDA 在真实和模拟的高维数据集上，分类准确率优于 RDA、稀疏分类器和随机森林。
• 在 sparsediscrim R 包中提供高效实现，展示在模型选择过程中相比标准 RDA 的显著速度提升。

提出的方法

• 使用一种有偏协方差估计器重新参数化 RDA，将各分类的协方差矩阵与合并样本协方差矩阵结合，从而实现对每个训练观测值贡献的可解释性。
• 将所得合并估计量向缩放单位矩阵收缩，以确保正定性和稳定性。
• 通过丢弃合并协方差矩阵零空间中的矩阵运算实现降维，这些运算对分类无用，且可将维度降低至约样本量 q。
• 利用奇异值分解（SVD）识别并消除合并协方差矩阵中的 p−N 个零特征值，将问题简化至低维空间。
• 在降维空间中制定 HDRDA 决策规则，其中矩阵求逆和行列式计算在小而非奇异的矩阵上进行，从而实现在 p 上的线性时间计算。
• 使用 sparsediscrim R 包中的高效网格搜索与交叉验证进行超参数调优，利用降维优势实现快速模型选择。

实验结果

研究问题

• RQ1 是否能在高维小样本情形（p > N）下，使正则化线性判别分析分类器兼具可解释性与计算高效性？
• RQ2 将标准 RDA 公式替换为降维且消除零空间的策略，是否能在显著降低计算成本的同时保持分类准确率？
• RQ3 HDRDA 在真实和模拟的高维数据集上，与 RDA、随机森林及其他稀疏或对角分类器相比，性能如何？
• RQ4 当 p > N 时，现有收缩估计器（如 Srivastava & Kubokawa、Rao & Mitra）在 HDRDA 框架下是否仍保持有效性？
• RQ5 HDRDA 的模型选择过程能否被充分加速，以使其在大规模高维数据（如基因表达或成像数据）中具有实际可行性？

主要发现

• 当 p = 5000 时，HDRDA 在模型选择中相较标准 RDA 实现了 502.786 倍的速度提升，平均运行时间从 24.933 分钟缩短至 2.979 秒。
• 在六个真实高维数据集和三个模拟数据集上，HDRDA 在分类准确率上持续优于 RDA、随机森林及多种稀疏分类器（如 Pang、Tong、Witten）。
• HDRDA 决策规则对合并协方差矩阵中约 p−N 个零特征值的调整保持不变，证实零空间运算冗余，可安全舍弃。
• HDRDA 对异常值具有鲁棒性，在其他分类器（如惩罚线性判别分析，Witten & Tibshirani, 2011）因数值不稳定性而失效时，仍能保持高性能。
• HDRDA 分类器等价于在维度约等于训练样本量的降维特征空间中的分类器，从而实现在 p 上的线性时间矩阵运算。
• sparsediscrim R 包中的 HDRDA 实现对大规模高维数据计算可行，已可替代 RDA 成为该场景下的实际首选。